BigQuery est rapide car cette base a été pensée pour profiter des possibilités offertes par la scalabilité horizontale.
BigQuery est la version commerciale de Dremel. Cette technologie est au coeur du fonctionnement de Google.
Pourquoi Dremel peut être si rapide ?
Ce sont deux technologies qui donnent à Dremel sa performance
- Le stockage en colonnes : les données sont stockées en colonnes, ce qui permet d’obtenir un taux de compression et facilite le scanning des données.
- Une architecture arborescente permet d’envoyer des requêtes et agréger les résultats sur des milliers de machines en quelques secondes.
Stockage colonne
BigQuery stocke les données en colonnes. Ceci signifie que physiquement les données qui sont contigus sont les données des colonnes de la table. Les bases de donnés classiques, les données contigus sont les données provenant de la même ligne.
Architecture arborescente
L’un des défis de Google dans la conception de BigQuery a été de savoir comment collecter en quelques secondes les résultats des dizaines de milliers de machines sollicités lors d’une requête. Pour ceci Google a opté pour une architecture arborescente. L’architecture forme un arbre distribué massivement parallèle. Les résultats sont consolidés des feuilles qui lisent les données sont filtrés et agrégés en remontant à travers les noeuds. Le résultat final est consolidé dans la racine de l’arborescence.