Une plateforme end-to-end complète pour les projets de machine learning

AI Platform permet de construire, déployer et manager des modèles de machine learning que soit l’échelle.

AI Platform offre un grand choix de services pour gérer les jeux de données, pour construire, valider et déployer des modèles de machine learning, mais également pour industrialiser des workflow ML end-to-end avec une approche MLOps.

Avec AI Platform, les clients bénéficient de tout le savoir faire de Google dans le domaine AI / ML et peuvent tirer partie de l’infrastructure de point de Google Cloud.

Les sections suivantes présentent les services managés et APIs fournis par AI Platform:

Préparation des jeux de données

Les jeux de données servant à entraîner des modèles de machine learning sont généralement stockés dans des buckets Cloud Storage, dans des datasets BigQuery ou dans des tables BigTable.

Les données peuvent être préparées via une approche programmatique avec des services comme Dataflow et Dataproc, ou codeless avec des services comme Dataprep ou Data Fusion.

Le Data Labeling Service permet à des humains de générer des labels précis pour un ensemble de données. Les données non labelisées de type image, vidéo ou texte, sont cataloguées au sein d’un fichier CSV et déposées dans un bucket Cloud Storage pour être labellisées. Un ensemble de labels ainsi qu’un jeu d’instructions seront également fournis pour guider les étiqueteurs humains.

Construction de modèles de machine learning

AI Platform Notebooks, service managé offrant une version de JupyterLab sécurisée et intégrée à Google Cloud, est une plateforme web permettant d’expérimenter rapidement , de développer et de déployer des modèles de machine learning en production. AI Platform Notebooks fournit des containers optimisés pour le machine learning qui permettent de tirer au mieux parti de Google Cloud, des GPUs et des TPUs. Ils sont préconfigurés avec de nombreux langages et frameworks utiles pour la data science, notamment Python, R, Numpy, Scikit-Learn, TensorFlow, Keras, XGBoost, Pytorch.

AutoML permet d’entraîner, d’évaluer et de déployer des modèles de machine learning de grande qualité, avec un minimum d’effort, sans écrire de code, et sans nécessiter d’expertise en machine learning. AutoML aide à la production de modèles centrés sur la vision, la vidéo, le traitement du langage naturel, la traduction et les tables de données structurés.

AI Platform Training fournit la plateforme et les dépendances requises pour entraîner, dans le cloud et à grande échelle, des modèles de machine learning créés par les frameworks TensorFlow, Scikit-learn et XGBoost. Il est en plus possible d’utiliser des containers personnalisés pour exécuter des jobs d’entraînement avec d’autres librairies ou frameworks comme PyTorch. Avec AI Platform Training il est aisé d’entraîner des modèles à l’échelle du cloud, de choisir son infrastructure hardware (type d’instances compute engine, accélérateurs GPUs et/ou TPUs), de tuner les hyperparamètres, et de monitorer les tâches d’entraînement des modèles.

Valider les modèles de machine learning

Explainable AI est un ensemble d’outils et de frameworks aidant à comprendre et interpréter les modèles de machine learning. Les explications AI permettent de détecter et de résoudre les biais, les dérives et les lacunes dans les données et les modèles. Grâce aux explications AI, AutoML, AI Platform Prediction et AI Platform bénéficient de l’évaluation et l’explication des modèles. L’outil What-if, intégré à TensorBoard et à AI Platform Notebook permet d’inspecter visuellement le comportement des modèles. Continuous Evaluation échantillonne régulièrement les entrées et les sorties de prédiction des modèles déployés sur AI Platform Prediction, ce qui permet au Data Labeling Service de fournir des commentaires continus sur les performances des modèles au fil du temps.

AI Platform Vizier est un service d’optimisation de boîte noire. Il est utile pour les modèles et systèmes qu’il faut optimiser mais qui sont trop coûteux à évaluer ou qui n’ont pas d’objective function. AI Platform Vizier est conçu pour régler à la fois les hyperparamètres et les paramètres, et peut être utilisé avec n’importe quel système évaluable.

Déployer des modèles de machine learning

AI Platform Prediction permet de déployer les modèles de machine learning à grande échelle et d’exécuter les modèles pour obtenir leurs prédictions, via une approche batch ou online. AI Platform Prediction fournit la plateforme et les dépendances requises pour déployer et exécuter des modèles de machine learning créés par les frameworks TensorFlow, Scikit-learn et XGBoost. Il est en plus possible d’utiliser des containers personnalisés pour déployer et exécuter des modèles entraînés avec d’autres librairies ou frameworks comme PyTorch. Avec AI Platform Prediction il est aisé de déployer ses modèles à l’échelle du cloud, de choisir son infrastructure hardware (type d’instances compute engine, accélérateurs GPUs) scalable , de monitorer les modèles en production, et de s’intégrer avec les services AI Platform comme AI Explanations et Continuous Evaluation.

L’export de modèles edge permet d’exporter directement sur un appareil des modèles entraînés, au plus proche de l’utilisateur afin de supporter des actions temps réel basées sur des données locales. Ce service, disponible notamment dans AutoML, supporte des types de modèles tels que TF Lite, TensorFlow.js, Core ML, Docker Container et Coral.

TensorFlow Enterprise fournit un support niveau entreprise pour les instances TensorFlow. TensorFlow Enterprise inclut des VM et des conteneurs de Deep Learning, qui facilitent le démarrage, l’évolutivité et permettent de déployer TensorFlow sur des services managés tels que AI Platform et Google Kubernetes Engine. Ces produits sont testés pour la compatibilité, les performances et sont optimisés pour les infrastructures hardwares supportées par Google Cloud (GPU Nvidia, TPUs). Avec TensorFlow Entreprise les correctifs de sécurité et de bugs sont fournis jusqu’à trois ans.

ML Ops

AI Platform Pipelines est une plateforme permettant d’implémenter et d’orchestrer sous la forme de pipelines portables et réutilisables les étapes d’un workflow machine learning. Grâce à AI Platform Pipelines il est possible d’automatiser, de gérer et d’auditer des workflows de machine learning: depuis la préparation et l’analyse des données, en passant par l’entraînement et l’évaluation des modèles, jusqu’au déploiement de modèles en production. AI Platform Pipelines simplifie la mise en œuvre de Kubeflow Pipelines et de TensorFlow Extended (TFX) sur Google Kubernetes Engine.

Liens Intéressants