Passer au contenu principal
Innovation

La KU Leuven aide les futurs médecins à se préparer aux consultations difficiles grâce à des avatars générés par l’IA.

Les connaissances médicales s’acquièrent dans les manuels, mais c’est par la pratique que l’on apprend à mener des entretiens délicats. Au Centre académique de médecine générale (ACHG) de la KU Leuven, on a cherché un moyen de permettre aux étudiants de s’exercer plus souvent, sans devoir systématiquement recourir aux jeux de rôle traditionnels avec des acteurs.

En collaboration avec les experts de Raccoons, l’équipe a développé une plateforme d’entraînement interactive reposant sur des avatars IA réalistes. Les étudiants y pénètrent dans un cabinet médical virtuel où les patients numériques ne se contentent pas de répondre aux questions, mais expriment également des émotions, contredisent le médecin et parlent avec un accent flamand reconnaissable.

Apprendre à gérer l’imprévisibilité humaine

L’une des compétences les plus difficiles à acquérir pour les futurs médecins est celle de la « prise de décision partagée ». Ils doivent apprendre à mettre en balance les connaissances scientifiques et la situation personnelle, les craintes et les préférences du patient. Or, dans la réalité, ces entretiens se déroulent rarement selon un scénario prédéfini.

Traditionnellement, les étudiants s’y exercent dans le cadre de jeux de rôle avec des acteurs professionnels ou d’autres étudiants. Si cette méthode est utile, elle demande une organisation importante et n’offre que des possibilités de pratique limitées.

Les professeurs Pieter Van Bostraeten et Bert Aertgeerts ont donc fait appel à Raccoons avec une demande claire :

Pouvons-nous créer un environnement d’apprentissage sûr et évolutif dans lequel les étudiants pourraient s’entraîner à mener des consultations complexes avec des patients numériques réalistes ?

Une consultation virtuelle accessible depuis le navigateur

En vue de faciliter au maximum l’accès à la plateforme, celle-ci devait fonctionner directement dans un navigateur web, sans téléchargement ni équipement spécifique. Pour y parvenir, plusieurs technologies ont été intelligemment combinées.

Afin de donner aux avatars des réactions aussi réalistes que possible, Raccoons a utilisé la technologie MetaHuman d’Unreal Engine. NVIDIA Audio2Face assure ensuite la synchronisation automatique des expressions faciales et des mouvements des lèvres avec la parole. 

Comme ces modèles 3D sont trop gourmands en ressources pour fonctionner sur un ordinateur portable standard, le moteur graphique est exécuté dans le cloud. Les images sont ensuite transmises de manière fluide à l’écran grâce au pixel streaming. La plateforme fonctionne ainsi sur pratiquement n’importe quel appareil disposant d’une connexion Internet.

Les voix ont également fait l’objet d’une attention particulière. Dans un contexte flamand, une voix synthétique utilisant le néerlandais standard peut rapidement sembler peu naturelle. C’est pourquoi l’équipe a entraîné ses propres modèles vocaux à l’aide d’ElevenLabs, en intégrant des accents régionaux reconnaissables, tels que le limbourgeois, l’anversois et le brabançon flamand. 

Des patients dotés d’une personnalité et capables de réagir

Les avatars ne sont pas de simples chatbots suivant une liste de contrôle médicale. Un orchestrateur central pilote les interactions et coordonne en coulisses, de manière fluide, la reconnaissance vocale, le modèle de langage et la synthèse vocale. 

Chaque avatar dispose d’un profil soigneusement élaboré, comprenant son histoire personnelle, ses traits de caractère et son style d’expression. À cela s’ajoute un cas médical spécifique, accompagné des préoccupations qui lui sont propres.

Prenons l’exemple de Sanne, une mère célibataire de 29 ans. Lors de la consultation, il est question de la pose de drains transtympaniques chez son jeune fils. Mais Sanne est terrifiée à l’idée d’une anesthésie générale, en raison d’une expérience traumatisante vécue au sein de sa famille.

Si l’étudiant se met immédiatement à employer du jargon médical ou ne tient pas compte de ses inquiétudes, il constatera que Sanne se replie sur elle-même ou adopte une attitude défensive. Ce n’est que lorsque l’étudiant fait preuve d’empathie, prend le temps de l’écouter et lui fournit des explications claires qu’un véritable dialogue peut s’engager.

Grâce à différents niveaux de difficulté, les étudiants apprennent à gérer les patients qui dissimulent des informations importantes ou manifestent de la résistance lorsqu’ils ont le sentiment de ne pas être compris.

Un retour immédiat, sans crainte de l’échec

Bien entendu, pour progresser, il faut savoir ce qui peut être amélioré. À l’issue de chaque entretien, un évaluateur basé sur un grand modèle de langage (LLM) analyse l’intégralité de la transcription au regard d’objectifs de communication prédéfinis.

En quelques secondes, l’étudiant reçoit un retour structuré et personnalisé : quels aspects de l’entretien ont été bien gérés ? Comment les signaux non verbaux ont-ils été interprétés ? Quelles questions importantes ont été omises ?

Comme ce retour d’information est immédiat, les étudiants peuvent recommencer le même exercice sans attendre, en adoptant une approche ou un ton différents.

Par ailleurs, l’ensemble de la plateforme a été conçu dans le respect du Règlement général sur la protection des données (RGPD) et de la législation européenne sur l’IA (AI Act). Les étudiants disposent ainsi d‘un environnement d’apprentissage sécurisé dans lequel ils peuvent se tromper et faire des erreurs sans que cela n’ait de conséquences réelles.

Vous souhaitez en savoir plus sur les aspects techniques de cette étude de cas ? Retrouvez l’étude de cas originale en anglais sur le site web de Raccoons.

En savoir plus

Affaires
VLOK et Mijn Burgerprofiel : le lien numérique entre les pouvoirs publics et les citoyens
Garantir la qualité des logements représente une mission ambitieuse, tant pour les autorités locales que pour le gouvernement flamand. L’objectif est clair : rendre les procédures plus rapides, plus transparentes…
Affaires
eLys numérise et centralise la gestion des décès en Flandre
Chaque année, plus de 60 000 personnes décèdent en Flandre. Chaque décès déclenche une procédure administrative qui nécessite la collaboration sécurisée et efficace de nombreux acteurs dans des délais très…
Affaires
L’UCLL opte pour une approche réfléchie en matière d’assistants IA Copilot.
L’UCLL est l’une des plus grandes hautes écoles de Flandre, avec plus de 1 750 collaborateurs répartis sur 8 campus dans 5 villes. La gestion efficace des connaissances représente donc…
Affaires
Comment la VGC a rendu ses rapports CPG plus humains et plus intelligents
Le Cycle de Politique et de Gestion (CPG) impose des règles claires, mais aussi strictes, en matière d’évaluation et de planification interne. Comment concilier ces exigences avec des rapports réellement…

Partagez-nous vos rêves les plus fous. Nous les réaliserons ensemble !