Un modèle d’intelligence artificielle peut être performant pendant son entraînement, mais il faut ensuite pouvoir l’utiliser dans une véritable application. TensorFlow Serving est un outil conçu pour déployer des modèles TensorFlow et permettre à des applications de leur envoyer des données afin d’obtenir des prédictions.
Qu’est-ce que TensorFlow Serving ?
TensorFlow Serving est un système qui permet de mettre un modèle TensorFlow à disposition sur un serveur.
Concrètement, une application envoie une demande au serveur avec des données, par exemple une image. TensorFlow Serving transmet ces données au modèle, récupère sa prédiction et renvoie le résultat à l’application.
Comment fonctionne TensorFlow Serving ?
Le fonctionnement peut être résumé simplement :
Modèle entraîné → exportation → serveur → requête → prédiction → résultat
TensorFlow Serving surveille les versions du modèle disponibles. Lorsqu’une nouvelle version est installée, il peut la charger et gérer le remplacement de l’ancienne version.
Le rôle de SavedModel
Avant de déployer un modèle, il faut l’exporter dans un format adapté. TensorFlow utilise pour cela SavedModel, son format standard pour sauvegarder et servir les modèles.
SavedModel contient notamment le modèle, ses variables et les informations nécessaires pour définir ses entrées et ses sorties.
Comment une application communique avec le modèle ?
TensorFlow Serving propose plusieurs API permettant aux applications d’envoyer des données au modèle.
Les principales sont :
- Classification : classer une donnée dans une catégorie ;
- Predict : obtenir une prédiction ;
- Regression : obtenir une valeur prédite.
Les SignatureDefs indiquent précisément au serveur quelles données le modèle attend en entrée et quelles données il doit retourner.
Exemple concret
Imaginons un modèle capable d’analyser une image et d’identifier différents éléments.
L’application envoie l’image au serveur. TensorFlow Serving transmet l’image au modèle, celui-ci effectue son analyse puis renvoie le résultat à l’application.
Dans l’exemple présenté dans l’article, DeepLab-v3 est utilisé pour effectuer de la segmentation d’images, c’est-à-dire séparer différents éléments présents dans une image.
Pourquoi utiliser TensorFlow Serving ?
L’intérêt principal est de séparer le modèle d’IA de l’application qui l’utilise.
Le modèle peut ainsi être exécuté sur un serveur et être utilisé par différentes applications via des requêtes. TensorFlow Serving facilite également la gestion de plusieurs versions d’un même modèle.
À retenir
TensorFlow Serving permet de transformer un modèle TensorFlow entraîné en un service accessible par une application.
Le principe est simple : on entraîne le modèle → on l’exporte avec SavedModel → on le déploie avec TensorFlow Serving → l’application lui envoie des données → le modèle renvoie une prédiction.
C’est une étape importante pour passer d’un modèle d’IA expérimental à une solution réellement utilisable en production.