Le problème silencieux du drift
Votre modèle de scoring de crédit avait 94% d'AUC au déploiement. Six mois plus tard, il en est à 81% — et personne ne s'en est rendu compte parce qu'il n'y avait pas de monitoring. C'est le scénario classique du concept drift : la relation entre features et cible a changé dans le monde réel.
Les trois types de drift à surveiller
- Data drift : la distribution des features d'entrée a changé (ex: nouveaux segments clients)
- Concept drift : la relation features → target a changé (ex: comportements post-COVID)
- Prediction drift : la distribution des prédictions a changé sans explication
Evidently AI pour la détection de drift
Evidently génère des rapports HTML ou JSON comparant votre dataset de référence (training) à la production récente. Il calcule automatiquement les tests statistiques appropriés (Jensen-Shannon divergence pour les distributions continues, Chi² pour les catégorielles).
MLflow pour le tracking d'expériences
Chaque réentraînement doit être tracé : hyperparamètres, métriques, artefacts, version du dataset. MLflow offre une UI simple pour comparer les runs et promouvoir un modèle en production via son Model Registry.
Stack de monitoring opérationnel
Pour les métriques système (latence p99, throughput, erreurs) : exposez un endpoint /metrics Prometheus depuis votre service de scoring, et visualisez dans Grafana. Créez des alertes sur : latence > 200ms, taux d'erreur > 1%, drift score > seuil.