Des interventions qui mesurent : réalité étendue, jeux et jouets intelligents
Et si chaque instant de jeu pouvait aussi être une mesure ? Un jeu en réalité augmentée, une scène virtuelle pour s'exercer aux signaux sociaux, un jouet qui réagit à la manière dont l'enfant joue : chacun peut entraîner l'attention, les compétences sociales ou la reconnaissance des émotions, et chacun peut enregistrer regard, mouvement, choix et physiologie en chemin, pour que les cliniciens voient plus qu'un score final et ajustent la séance suivante. Casques à suivi oculaire intégré, personnages pilotés par des modèles de langage et jouets équipés de capteurs sont à portée d'un développement en deux jours, avec un plan pour tester la meilleure idée auprès de patients. À explorer en premier : des indices en réalité augmentée pour l'attention après un AVC.
Ressources
- Wearables and phone sensing
- Brain signals and imaging
- Sensitive data handling
- GazeBaseVR — eye tracking recorded in VR (figshare, CC BY 4.0) ↗
- Data platform and governance
- Video / vision models
- Lab equipment
- Speech models
- Language-model endpoints
- OpenXR — cross-headset XR standard ↗
- Godot — open game engine with XR support (MIT) ↗
- A-Frame — VR/AR in the browser via WebXR (MIT) ↗
- Unity XR Interaction Toolkit — examples ↗
- jsPsych — browser-based tasks for gamified assessment (MIT) ↗
- PsychoPy — experiment and task builder (GPL-3.0) ↗
- Pupil Labs — open eye tracking (LGPL-3.0) ↗
- Tobii Pro Glasses 3 — wearable eye tracking (commercial) ↗
- Lab Streaming Layer — sync gaze, physiology and in-game events ↗
- Arduino — open hardware for sensor toys ↗
- ESP32 Arduino core — wireless microcontroller (LGPL-2.1) ↗
- llama.cpp — on-device language model (MIT) ↗
- whisper.cpp — on-device speech recognition (MIT) ↗
- Piper — on-device speech synthesis (MIT) ↗
