Au-delà de l'œil humain : le comportement par la vidéo et le son
Certains des signes les plus parlants en santé mentale durent moins d'une seconde : un micro-mouvement, un regard qui s'attarde, l'instant où les mots et le visage racontent des histoires différentes. Les cliniciens en repèrent certains ; les coder à la main est lent et varie d'un codeur à l'autre. Ici, la vidéo et le son du jeu, de la conversation et de la thérapie deviennent des signatures comportementales assez précises pour suivre une personne d'une séance à l'autre, un pas vers une médecine de précision et personnalisée. En deux jours, modèles vision-langage, modèles audio-visuels et suivi de la posture rencontrent des vidéos ouvertes et des codeurs humains, et les cliniciens interrogent et corrigent les annotations en langage naturel. Pistes : l'évolution au fil des séances, les schémas de mouvement partagés par des troubles qui se recoupent.
Ressources
- Video / vision models
- Speech models
- Language-model endpoints
- Anonymization tools
- LISBET — social behaviour transformer, Bellone lab (academic non-commercial) ↗
- OpenFace — facial action units, gaze, head pose ↗
- DeepFace — facial affect analysis ↗
- Wav2Vec2 / HuBERT — speech representations ↗
- EmoBox — speech emotion recognition toolkit ↗
- Label Studio — annotation platform ↗
- Kineo — calibration-free 3D motion capture from ordinary cameras (research use only) ↗
