← Les six écoles

Divination · données et IA de jeu

Bobathon

Une compétition Kaggle dans un cours de machine learning à l'ESILV : prédire l'avancée de la maladie de Parkinson chez des patients que le modèle n'a jamais vus. En équipe de trois, avec le gestionnaire d'agents d'IBM, Bob.

Le problème

Environ 44 600 visites cliniques d'à peu près 5 600 patients. Pour chaque visite, prédire le score moteur de la maladie mesuré sans médicament. Les patients du test n'apparaissent jamais dans l'entraînement : le modèle doit se généraliser à de nouvelles personnes, pas se souvenir des anciennes.

Travailler avec Bob

Le cours imposait que chaque soumission sorte de Bob, le gestionnaire d'agents d'IBM, et que chaque résultat soit enregistré dans Skore Hub de Probabl. Bob n'est pas un assistant de conversation comme Claude ou ChatGPT. Il déroule un flux de compétences fixé : explorer les données, écrire une note de conception, lancer l'expérience, consigner le résultat dans un journal. Il est pensé avec une tout autre idée de ce qu'est l'outil, et apprendre à travailler dans ses règles faisait partie de l'exercice.

Mesurer honnêtement

Dès la deuxième expérience, chaque score vient d'une validation croisée en cinq blocs, groupée par patient. Mélanger les visites au hasard aurait laissé le modèle voir le même patient à l'entraînement et en validation, et donné des chiffres flatteurs que Kaggle aurait ensuite démentis.

De 16,5 à 3,4

  • Une prédiction constante : 16,5. Un modèle linéaire : 10,6. Du gradient boosting qui garde les valeurs manquantes comme information : 7,8.
  • Des variables par patient, comme les moyennes sur toutes ses visites : 4,9. Le plus grand pas d'un coup.
  • Régler le boosting et essayer un pipeline tabulaire automatique n'a rien donné. Des variables temporelles avec LightGBM : 4,7.
  • Le tournant : le score de chaque patient suit une courbe régulière avec l'âge. Ajuster cette courbe par patient, puis corriger selon le temps depuis la dernière prise et selon l'évaluateur de la visite : 3,7.
  • Ajouter la réponse propre à chaque patient à la lévodopa : 3,4 en validation croisée, 3,20 sur le classement public.

Ce que j'en retiens

  • Regarder les données patient par patient nous a plus appris que n'importe quel réglage.
  • Un découpage de validation propre compte plus que le modèle : c'est lui qui rendait chaque étape fiable.
  • Tenir un journal de chaque expérience, ratées comprises, rendait le chemin facile à retracer.
  • Pas fait : prédire directement les coefficients de la courbe, ou mettre LightGBM à l'intérieur du modèle par patient.
Erreur par expérience, d'une prédiction constante au modèle final. Plus bas, c'est mieux.
Erreur par expérience, d'une prédiction constante au modèle final. Plus bas, c'est mieux.