En qui ai-je confiance? L'être humain ou la machine?
Quel est le rôle de l'intelligence artificielle en tant que membre d'une équipe ?
Selon Nadine Bienefeld, lorsqu’une équipe soignante d'une unité de soins intensifs confie le contrôle d'un respirateur à l'intelligence artificielle (IA), les médecins et les infirmières renoncent également à un certain contrôle. "Cela rend vulnérable. Et cela pose la question de la confiance que les êtres humains accordent à la machine." Dans un projet préliminaire du PNR 77, l'équipe de recherche de Nadine Bienefeld a étudié cette relation de confiance. Septante entretiens ont été menés avec des infirmières et infirmiers, des médecins assistant·es et des médecins-chefs, et 35 équipes ont été observées sur un total de 256 heures.
Résultat : les participant·es perçoivent l'IA de manière très différente : comme un héros qui a tout sous contrôle ; comme une menace personnelle, car on se sent à la merci de la machine ; comme une menace contrôlable dans le sens de "je sais ce qui peut mal tourner, mais si nécessaire, je maîtrise la situation" ; et enfin comme un partenaire et un membre de l'équipe à part entière.
Bienefeld estime que la recherche a eu tendance à négliger ce dernier rôle. "Jusqu'à présent, l'interaction a été trop comprise comme une interaction bilatérale humain-machine", déclare Nadine Bienefeld. "Alors qu'il s'agit en fait d'une relation triangulaire humain-humain-machine." Il est très important de savoir comment le groupe réagit dans sa globalité et les uns envers les autres. C'est pourquoi former les soignant·es à l'utilisation de la technologie médicale intelligente n’est pas suffisant ; la formation doit être comprise et construite comme un processus d'équipe.
Cette découverte constitue désormais la base du projet PNR 77 de Nadine Bienefeld. Les scientifiques observent des équipes médicales lors d'un entraînement de simulation en soins intensifs. Cela comprend aussi bien des incidents simulés provoqué par l'IA. Des recommandations doivent être tirées de ces observations afin que l’IA soit conçue comme un membre de l’équipe et afin de développer des solutions qui renforcent la confiance au sein des équipes humain-IA en général.
