Que signifie avoir le contrôle humain sur les machines intelligentes ?

Lors d’expériences menées en laboratoire, des sujets humains devaient faire atterrir un objet en toute sécurité en collaboration avec l’IA. Différentes formes de collaboration – comme l’intervention humaine dans une procédure gérée par l’IA – ont ainsi été étudiées. Il s’agissait à la fois d’observer les essais d’atterrissage collaboratif et d’interroger ensuite les opérateurs humains. Les résultats de ces expériences ont permis de formuler certaines considérations conceptuelles et légales relatives à la collaboration entre l’humain et l’IA, ainsi que des recommandations aux responsables politiques concernant la réglementation de certaines formes d’IA.

Les législations comportent toujours plus de dispositions visant à soumettre l’IA à une forme de contrôle humain. Exemple récent, le règlement de l’UE sur l’intelligence artificielle est entré en vigueur à l’été 2024. Son article 14 prévoit de soumettre à un contrôle humain certaines IA à haut risque, notamment celles destinées à être utilisées dans le domaine de la sécurité. Des approches similaires sont envisagées dans d’autres domaines, comme dans le droit international humanitaire. Il est crucial que ces attentes placées dans le droit soient ancrées dans les réalités techniques, afin d’éviter que les opérateurs humains censés exercer un contrôle sur l’IA portent tous les torts en cas d’erreurs entraînant des pertes humaines.

Le projet visait à tester des formes de contrôle de l’IA de manière empirique. S’inspirant des méthodes de l’économie comportementale, de la philosophie appliquée et du droit, l’équipe de recherche a préféré ne pas se cantonner à une publication purement argumentaire, souvent d’usage dans ce domaine, et recommander des formes pratiques et réalistes de contrôle au sens large, ainsi que des normes en la matière.

Nos résultats indiquent qu’une certaine prudence est de mise lorsqu’il s’agit de soumettre l’IA à un contrôle humain, tant technique que juridique. L’humain « aggrave » parfois les choses, notamment s’il intervient sans nécessité ou au mauvais moment. Les personnes chargées de ce contrôle pourraient être rendues responsables, notamment sur le plan juridique, sans même avoir été en mesure de contrôler réellement l’IA. Ces résultats se rapportent à des situations dans lesquelles l’humain agit sous la pression du temps et de ressources limitées, autrement dit dans des situations critiques. La question de savoir s’il est possible de faire mieux en réduisant le degré de criticité, par exemple par le ralentissement des processus ou par des ressources supplémentaires, devra être étudiée plus avant, tout comme celle de savoir si la collaboration entre l’humain et l’IA s’améliore en l’absence de toute pression.

Principales conclusions

1. Les obligations en matière de contrôle et de surveillance de systèmes intelligents devraient être adaptées au contexte dans lequel elles doivent être mises en œuvre. Une obligation générale de contrôle ou de surveillance de ces systèmes constituerait plus un problème qu’une solution.
2. L’intervention humaine dans des processus basés sur l’IA n’est pas un remède miracle.
3. Il ne faut pas partir du principe que les systèmes d'IA hautement performants sont explicables.

Meaningful Human Control of Security Systems – Aligning International Humanitarian Law with Human Psychology