La récente publication en français du livre du philosophe anglais, David Edmonds, Le tramway qui tue[1], est l’occasion de rappeler que le débat sur l’acceptabilité de laisser mourir ou de tuer une personne pour en sauver d’autres fait partie d’une expérience de pensée qui, si elle résonne aujourd’hui de manière particulière avec l’intrusion de l’intelligence artificielle a fait l’objet de travaux liés aux grands enjeux éthiques depuis plusieurs décennies.
A ce titre, l’expérience réalisée en 1963 par le psychologue Stanley Milgram, qui a enseigné dans les universités de Yale et Harvard avait été en son temps largement médiatisée. Elle a permis d’étudier de manière documentée le comportement humain face à l’autorité avec le test de la capacité d’obéissance des individus face à des ordres pouvant entrainer la mort d’individus pour lesquels celui qui les exécutent n’a aucun grief personnel.
Compte tenu des biais introduits pour réaliser l’expérience (les participants n’étaient pas informés que la « victime » était un collaborateur de l’équipe scientifique et qu’aucun dommage corporel n’était provoqué), les travaux de Milgram ont été critiqués mais ils ont interpellé les consciences car l’expérience donnait une explication « scientifique » au comportement inhumain de tous les exécutants de la Shoah dont le principal argument de leur défense était la déresponsabilisation en renvoyant vers une autorité supérieure présentant l’apparence de la légitimité. L’expérience a également montré que les individus confrontés à de telles situations tentent de diminuer le niveau de tension avec l’autorité et quand ces dérivatifs ne fonctionnent plus , ils désobéissent. Malgré cela, la moyenne constatée sur les 24 expérimentations conduites par Milgram aboutit à un taux d’obéissance d’au moins 50% et grimpant parfois à 65% pour les hommes et 73% pour les femmes[2].
Milgram a toujours pris la peine de rappeler fermement que ses travaux n’étaient pas une remise en cause de toute obéissance mais de l’obéissance aveugle. C’est ce que le droit français a théorisé avec la théorie juridique de la nécessaire contestation d’un ordre manifestement illégal[3].
Néanmoins l’appréciation de l’illégalité d’un ordre est plus complexe qu’il n’y parait car l’éventail des dilemmes moraux dans la prise de décision est grand. Cette complexité est évidente par exemple en médecine d’urgence, en situation de guerre, ou en gestion de crise, tous domaines dans lesquels il est indispensable de prendre de manière quasi instantanée des décisions. De plus les dilemmes moraux ne sont pas identiques selon les civilisations et ce que les philosophes appellent « intuitions éthiques » ne sont pas forcément universelles, même si le respect de la vie humaine est considéré comme une valeur universelle.
En 1967, une autre expérience, qui sera moins médiatisée, est publiée dans un article de l’Oxford Review par la philosophe britanno-américaine Philippa Ruth Foot, l’une des fondatrices de l’éthique de la vertu contemporaine[4]. Ses travaux ont notamment porté sur l’erreur de penser qu’il existerait d’une part une idée de la rationalité et d’autre part une idée de la morale et qu’il nous faudrait les réconcilier. L’honneur de l’humanité est de tout faire pour que la morale mène la rationalité et non l’inverse.
La philosophe décrit ainsi le dilemme éthique qui apparait quand nous sommes mis en situation de choisir de sacrifier une vie pour en sauver plusieurs : « Imaginez qu’un juge se retrouve face à des émeutiers qui demandent qu’un coupable soit trouvé pour un certain crime et, si cela n’est pas fait, qui menacent de se venger de manière sanglante sur une partie spécifique de la communauté. Le coupable réel étant inconnu, le juge se retrouve avec pour seule solution de condamner à mort un innocent pour prévenir le bain de sang. Imaginons parallèlement un autre exemple où le pilote d’un avion qui est sur le point de s’écraser doit choisir de dévier ou non son avion depuis une zone plus habitée vers une zone moins habitée. Afin de rendre les deux situations le plus semblable possibles, imaginons plutôt le conducteur d’un tramway hors de contrôle qui ne peut que choisir de dévier ou non sa course depuis une voie étroite vers une autre : cinq hommes travaillent sur l’une et un homme est situé sur l’autre. La voie prise par le tram entraînera automatiquement la mort des personnes qui s’y trouvent. Dans le cas des émeutiers, ces derniers ont en otage cinq personnes, ce qui fait en sorte que les deux situations amènent le sacrifice d’une vie pour en sauver cinq »
Le dilemme du tramway exposé par Edmonds se rattache à ce que les philosophes appellent une « expérience de pensée » qui, par la présentation d’une énigme permet de tester notre conscience en identifiant ce que nous pensons et pourquoi.
L’expérience du tramway n’est qu’une variante de scénarios multiples. Les expérimentateurs peuvent solliciter à l’infini notre pensée. Préfèrerions nous sacrifier un malade à un bien portant, un respectueux du code de la route ou un délinquant notoire etc. etc… Idem en médecine et idem dans le domaine militaire avec la cotation éthique de frappes létales dans un environnement où il est probable que des innocents soient tués ou blessés dans une opération visant un terroriste notoire…
Toutes ces variantes mettent à l‘épreuve notre morale et les résultats sont souvent surprenants car nous pouvons tout à la fois accepter de sacrifier un innocent pour sauver plusieurs vies tout en pensant qu’il est mal de tuer cet innocent…Cette position est incohérente mais pourtant elle peut être une réalité qui occupe actuellement beaucoup de chercheurs et de philosophes qui tentent de donner du sens à nos décisions et de les modéliser…Cela peut aller très loin et bien au-delà de la réalisation d’algorithmes en capacité de déterminer les meilleures cibles dans un conflit militaire en minimisant les pertes humaines par exemple.
Les véhicules autonomes qui sont en cours d’expérimentation intègrent ce type de prévisions pour définir la meilleure solution possible si un accident est inévitable.
Le dilemme moral existe aussi quand j’achète un appareil électronique qui a été fabriqué avec l’utilisation de terres rares exploitées au mépris de la dignité humaine. Nous ne pensons pas être complices de crimes en achetant un téléphone mobile, mais in fine la question se pose…
Les interrogations générées par ces expériences sont fortes : soit nous privilégions la cohérence et nous acceptons d’avoir un degré faible de moralité, soit nous assumons d’être incohérents et nous nous trouvons alors face à un problème perturbant. La seule façon de s’en sortir par le haut est de construire un système de pensée dans lequel prime le facteur de responsabilité morale et non l’utilité, tâche gigantesque mais le simple fait de l’accepter réintroduit de l’humanité dans un monde qui pourrait basculer rapidement dans une amoralité avec l’utilisation massive d’algorithmes d’aide à la décision.
Je livre au lecteur la possibilité de tester son éthique en se rendant sur la plateforme en ligne « Moral Machine« , développée au sein du Massachusetts Institute of Technology (MIT). Cette plateforme génère des dilemmes moraux qui sont des variantes du Tramway. Les informations recueillies sont utilisées pour des recherches concernant les décisions que pourrait prendre une IA notamment en ce qui concerne les véhicules autonomes. Cette expérience est le premier projet de masse d’utilisation d’un modèle expérimental pour tester un grand nombre d’êtres humains dans 233 pays [5]. La Moral Machine ainsi testé neuf facteurs : la préférence pour épargner les humains plutôt que les animaux domestiques, les passagers du véhicule plutôt que les piétons, les hommes plutôt que les femmes, les jeunes plutôt que les vieux, les personnes minces plutôt celles en surpoids, le statut social élevé plutôt que bas, les piétons se moquant du code de la route plutôt que les respectueux, les groupes de personnes plus nombreux que ceux plus petits, et le maintien du cap du véhicule plutôt que des embardées.
L’analyse des 40 millions de test disponibles montrent que les participants ont préféré la vie humaine à celle des animaux comme les chiens et les chats ; les jeunes plutôt que les plus âgés. Les bébés sont le plus souvent épargnés et les chats très souvent sacrifiés. Dans tous les pays il y a une préférence pour épargner les piétons plutôt que les passagers et les respectueux des lois plutôt que les criminels. Il y également des différences qui montrent que les pays de cultures individualistes ont tendance à épargner les plus grands groupes, tandis que les pays de cultures collectivistes ont une préférence pour épargner les personnes âgées. Chine et Etats-Unis ont ainsi des résultats opposés en ce qui concerne ces groupes.
Ne nous y trompons pas, au-delà de résoudre la circulation des véhicules, de telles expériences posent la question, désormais brûlante, de notre capacité à utiliser les ressources de l’IA de manière éthique et cela est vertigineux !
Tester la plateforme
https://www.moralmachine.net/hl/fr
https://www.philosophyexperiments.com/fatman/#google_vignette
[1] David Edmonds ; Le tramway qui tue ; Histoire d’un dilemme moral ; Editions ELLIOT ; octobre 2024
[2] Stanley Milgram ; Soumission à l’autorité ; 1974 ; 1994 pour l’édition française publiée chez Calmann-Lévy.
Extrait du film I. comme ICARRE : https://tube-arts-lettres-sciences-humaines.apps.education.fr/w/mHx1mDS55yRatc2pbRBrdm
Lors des premières expériences, 25 sujets sur 40 participants obéirent jusqu’au bout en infligeant une décharge mortelle de 450 volts et les 40 participants ont tous questionnés le superviseur de l’expérience à un moment de l’expérience. Milgram a qualifié à l’époque ces résultats « d’inattendus et inquiétants » car ses travaux préparatoires qui avaient interrogés 39 psychiatres avaient établi une prévision d’un taux de sujets envoyant 450 volts de l’ordre de 1 pour 1000.
Plusieurs romans et films ont utilisé l’expérience de Milgram. Le plus célèbre exemple est peut-être le film d’Henri Verneuil, I… comme Icare. Sorti en 1979 c’est une fiction inspirée de l’assassinat du président Kennedy. En 1981, le thème est repris dans le téléfilm La Vague (Alexander Grasshoff et Todd Strasser) avec une expérience entre un professeur et ses élèves.
[3] Pour les agents publics la référence est le Code de la fonction publique avec les articles L121-1 à L121-11. Pour tous, l’article 122-4 du code pénal reprend le concept en énonçant que la personne qui accomplit un acte commandé par l’autorité légitime n’est pas responsable, sauf si cet acte est manifestement illégal.
[4] Philippa Foot a été professeure de philosophie à l’université de Californie à Berkeley. Elle est morte en 2010 Son ouvrage Natural Goodness ; Oxford Clarendon Press, 2001 a été traduit en français en 2014 sous le titre Le bien naturel, édité par Labor et Fides.
[5] L’étude a été approuvée par l’Institute Review Board (IRB) du Massachusetts Institute of Technology L’expérience consiste à demander de prendre une décision dans un scénario unique dans lequel une voiture autonome est sur le point de percuter des piétons. L’utilisateur peut décider de faire dévier la voiture pour éviter de percuter les piétons ou de continuer tout droit pour préserver les vies qu’elle transporte. Les participants peuvent compléter autant de scénarios qu’ils le souhaitent. La plateforme génère les scénarios par groupes de treize. Parmi ces treize scénarios, un seul est entièrement aléatoire tandis que les douze autres sont générés à partir d’un espace dans une base de données de 26 millions de possibilités différentes. Ils sont choisis avec deux dilemmes axés sur chacune des six dimensions des préférences morales : le sexe du personnage, l’âge du personnage, la forme physique du personnage, le statut social du personnage, l’espèce du personnage et le numéro du personnage.
