Mission client · anonymisée
Supervision des modèles et détection de dérive pour un logisticien australien
Supervision des modèles pour un logisticien australien : indicateurs, détection de dérive et alertes avec Prometheus et Grafana, en quatre semaines.
- Secteur
- Logistique
- Région
- Australie
- Périmètre
- Supervision et observabilité des modèles
Mission client — le client est anonymisé à sa demande ; les chiffres sont ceux mesurés pendant la mission.
Défi
Un logisticien australien de 100 à 200 personnes s'appuyait sur des modèles d'IA dans ses opérations quotidiennes, sans aucune visibilité sur leurs performances une fois déployés. Ni supervision, ni détection de dérive : les problèmes étaient traités après coup, quand l'exploitation les subissait, et non quand les modèles commençaient à décrocher.
Solution
L'approche : une couche d'observabilité autour des modèles en production, qui collecte leurs indicateurs, détecte la dérive, alerte les bonnes personnes et affiche la santé des modèles sur un tableau de bord de direction — pour voir les problèmes dès leur apparition, et non après qu'ils ont coûté une journée d'exploitation.
Démarche
- 1
Nous avons conçu l'architecture de supervision autour des modèles en production et des décisions opérationnelles qui en dépendent.
- 2
Nous avons instrumenté la collecte des indicateurs des modèles en Python, avec un historique dans PostgreSQL et des indicateurs en direct exposés à Prometheus.
- 3
Nous avons construit un cadre de détection de dérive qui compare les entrées et les prédictions en direct aux données d'entraînement.
- 4
Nous avons mis en place des alertes qui préviennent le bon responsable dès qu'un indicateur ou un signal de dérive franchit son seuil.
- 5
Nous avons conçu un tableau de bord de direction dans Grafana, qui montre la santé des modèles d'un coup d'œil, avec des vues détaillées pour l'équipe technique.
Questions fréquentes
Que recherche la détection de dérive ?
Des changements dans les données reçues par un modèle, et dans ses prédictions, par rapport aux données d'entraînement. La dérive annonce souvent une baisse de précision.
Qui reçoit les alertes ?
Chaque alerte part vers le responsable nommé du modèle, avec assez de contexte pour décider de la suite, plutôt que vers une boîte partagée que personne ne consulte.
Pourquoi un tableau de bord de direction en plus des vues techniques ?
La direction doit savoir si les services d'IA sont sains sans lire d'indicateurs. La vue de direction répond d'un coup d'œil ; les vues techniques servent au diagnostic.