Depuis 20 ans Google a construit la plus grosse infrastructure au monde de stockage de données
Depuis 2002 et l’apparition du Google File System (GFS), puis son remplaçant Colossus en 2010, Google développe des solutions pour optimiser la gestion de données. Comment les stocker, les classer, les trier, y accéder le plus rapidement possible pour finalement leur donner de la valeur ?
Toutes ces questions avaient à la base comme mission de rendre toujours plus performant l’outil historique de la société : son moteur de recherche. Et les résultats furent impressionnants !
Du Big Data au Realtime Data
Pour mettre ces évolutions en perspective, il faut se rappeler qu’entre 2002 et 2005, il fallait parfois jusqu’à deux mois pour avoir son site fraîchement créé référencé sur Google Search.
En 2006, les balbutiements de Big Data, dont nous parlons plus loin dans ce document, vont commencer à révolutionner ce processus. Peu après, une semaine devient la norme pour avoir un site indexé correctement. Puis ce délai continue de dégringoler : un jour, une heure et finalement une seule petite minute suffisent pour indexer et classer un nouveau site.
De nos jours, une nouvelle page de news est indexée, évaluée, puis finalement disponible dans Google Search en une poignée de secondes.
Une gamme complète de services de stockage
Les lourds investissements en recherche qui ont permis ces résultats ont donné naissance à toute une gamme d’outils internes qui ont été transposés, raffinés et adaptés pour un public plus large. Ce sont ces nouvelles solutions de stockage, destinées à gérer du simple fichier aux bases de données les plus complexes, dont nous allons parler maintenant.
Google Cloud Storage
Pour stocker et diffuser de manière efficace des fichiers du type images, video, données, Google propose Google Cloud Storage. Ce produit permet de conserver et diffuser des petites quantités d’informations (quelques Mo) aussi bien que des très très gros volumes (à l’échelle de plusieurs centaines de Po).
Google BigTable
Au début des années 2000, Google a construit BigTable, une base de données qui s’appuie sur Google File System. L’objectif de ce système propriétaire et à haute performance était de stocker toute l’information collectée. Depuis il est très largement utilisé par tous les services de Google comme : Google Drive, Google Docs, GMail,…
Gogle Cloud Firestore
Cloud Firestore est une base de données NoSQL très rapide de type serverless. Elle sert principalement à stocker des documents. Elle est utilisée comme système de stockage pour des applications web, mobiles. Sa puissance lui permet de résoudre des problèmatiques de classe mondiale. Par exemple, elle est utilisée comme système de stockage pour Pokemon Go.
Google Cloud Spanner
Google Cloud Spanner est une base de données en mode serverless pour faire du stockage distribué dans le monde entier. Spanner offre des fonctionnalités telles que des transactions globales, des lectures fortement cohérentes, ainsi que la réplication multisites automatiques.
Google Cloud SQL
Pour les problématiques de type “lift and shift” ou pour les sujets qui ne nécessitent pas des stockages de volumes, importants, une grande disponibilité et une grande scalabilité, Google propose Google Cloud SQL. Cette solution permet d’avoir un SGBDR d’une taille inférieur à 1 To en mode managé. Il en existe plusieurs versions : MySQL, PostgreSQL ou MSSQL.