Paul Jorion, anthropologue, économiste et chercheur en IA, a publié en mars 2024 L’avènement de la singularité. Il développe dans un court essai percutant le concept de « singularité » qu’il définit comme « le moment de l’avenir où la croissance technologique devient incontrôlable et irréversible, entrainant des changements imprévisibles dans la civilisation humaine ».
Cette notion de singularité est empruntée au vocabulaire mathématique pour caractériser une valeur qui n’est pas bien définie ou qui subit une transition (il donne pour exemple x² pour x = 0 qui est bien défini pour une addition mais pas pour une multiplication). Le physicien et mathématicien Stanislaw Ulam qui faisait partie de l’équipe des physiciens chargé du programme d’arme atomique à Los Alamos a été à l’origine de la création des bombes à hydrogène et fut l’un des pionniers de l’utilisation massive d’ordinateurs pour réaliser les expériences mathématiques les plus sophistiquées.
Il apportera ainsi une contribution rationnelle à ce qui avait été prédit dès le 19émé siècle par des non scientifiques comme Samuel Butler, qui dans un article publié en 1863[1] sous le pseudonyme de Cellarius prédisait que les machines puissent avoir une « vie mécanique » évolutive qui ferait qu’un jour elles pourraient supplanter les humains grâce aux capacités phénoménales dont elles disposeraient inéluctablement. Ce qui pouvait apparaitre comme une prédiction de science-fiction est aujourd’hui bien en route car c’est bien l’homme avec les algorithmes qu’il crée qui permet aux machines de disposer d’un pouvoir d’auto action (le mot est de Butler) qui soutien désormais la comparaison avec l’intellect humain. Dans un autre de ses romans, Erewhon, publié en 1872, on trouve un chapitre intitulé « Le livre des machines » qui traite de la possibilité de conscience d’un artefact : « Il n’y a pas de sécurité contre le développement ultime de la conscience mécanique, dans le fait que les machines possèdent peu de conscience maintenant… Réfléchissez à l’extraordinaire avancée que les machines ont faite au cours des derniers siècles, et notez à quel point les royaumes animaux et végétaux avancent lentement.. » Butler imagine également que la « singularité mathématique » conduira un jour à ce que les machines puissent produire d’autres machines. Le garde-fou qu’il identifie est que les machines auront besoin des humains pour aider à leur reproduction et à leur entretien et c’est bien ce garde-fou qui évolue aujourd’hui à grande vitesse.
C’est d’ailleurs ce que rappelle Jorion au début de son ouvrage quand il décrit comment un outil comme GPT-4[2] fonctionne avec un « transformer », dispositif permettant à l’outil de comprendre ce qu’il lit, ce qu’il voit et ce qu’il dit à l’instar d’un être humain. Dit autrement, là ou un ordinateur traite de manière statistique des suites de mots en permettant des tris, des recherches, des associations, le « transformer » dispose de la capacité de faire émerger un sens d’une suite de mots. L’avancée de rupture par rapport à un ordinateur est que ni les concepteurs humains du « transformer », ni les techniciens en charge du fonctionnement ne comprennent les subtilités du comportement de la machine. La masse de données analysées est telle que les interactions générées produisent du contenu de manière inattendue et que la réponse fournie à une question ne peut théoriquement être connue à l’avance sauf à brider les capacités de l’outil.
S’il est possible de connaitre le procédé par lequel la machine parvient à donner du sens aux données éparses, il est par contre impossible de savoir comment la machine est parvenue à répondre à la question posée. C’est en ce sens que le « transformer » fonctionne comme un humain. Cela donne des perspectives vertigineuses car nous sommes au frontières de la conscience…
Sur ce point aussi Butler a été visionnaire en prédisant que si la vie humaine quotidienne sous la réglementation de la machine pourrait être matériellement confortable, la seule pensée qu’une machine puisse dépasser les capacités cognitives de l’homme était « horrifiante ».
Isaac ASIMOV en 1950 développera le sujet dans un roman tout aussi visionnaire que les écrits de Butler et d Ulam, Conflit évitable[3], en décrivant une humanité dont les machines assurent un développement harmonieux. Les hommes sont maîtres de leur destin mais ils suivent les conseils prodigués par les machines. La survenance d’anomalies qui ont contrarié la réalisation de projets conduit à une enquête perturbante car les machines sont programmées pour ne pas nuire aux humains avec les trois fameuses lois de la robotique formulées en 1942 par Asimov (notamment dans le tome 4 du cycle Fondation) : 1) un robot ne peut nuire à un être humain ni laisser sans assistance un être humain en danger. 2) un robot doit obéir aux ordres qui lui sont donnés par les êtres humains, sauf quand ces ordres sont incompatibles avec la première loi. 3) Un robot doit protéger son existence dans la mesure où cette protection n’entre pas en contradiction avec la première ou la deuxième loi.
Asimov évoque dans sa fiction l’existence d’une quatrième loi plus perturbante, la loi 0 : « le bien de l’humanité passe avant celui d’un seul homme ». Il faudrait accepter de léser un petit nombre d’hommes pour continuer à aider le plus grand nombre. Cette loi résonne comme une rupture car elle sous-entend l’acception de la manipulation de l’humanité par les machines pour la protéger.
Jorion nous fait part à ce sujet des craintes formulées par le mathématicien et statisticien anglais, Irving John Good, qui avait travaillé avec Alan Turing à la mise au point de la machine de déchiffrement des codes allemands pendant la seconde guerre mondiale et qui dans un article paru en 1966 « Speculations Concerning the First Ultraintelligent Machine », pose l’hypothèse qu’une IA pourrait concevoir une IA plus performante ce qui constituerait la rupture ultime : « Supposons qu’existe une machine surpassant en intelligence tout ce dont est capable un homme, aussi brillant soit-il. La conception de telles machines faisant partie des activités intellectuelles, cette machine pourrait à son tour créer des machines meilleures qu’elle-même ; cela aurait sans nul doute pour effet une réaction en chaîne de développement de l’intelligence, pendant que l’intelligence humaine resterait presque sur place. Il en résulte que la machine ultra intelligente sera la dernière invention que l’homme aura besoin de faire, à condition que ladite machine soit assez docile pour constamment lui obéir ».
L’essai de Jorion se termine par une mise en perspective du concept de singularité et de celui de « ruse de la raison » développé par Hegel. Les hommes poursuivent des objectifs égoïstes répondant à des passions personnelles mais il y aurait un « esprit du monde » dont la transcendance mettrait ces actes à son service pour réaliser la finalité ultime qui serait l’expansion de la liberté. Les philosophes disent ainsi que « l’irrationnel lui-même est nécessaire à la réalisation de la raison, donc que tout le réel, qui est rationnel, c’est-à-dire explicable, est utile et nécessaire ». La singularité, cœur de l’IA dans cette analyse serait le versant technologique de la « ruse de la raison » versant philosophique d’un tout qui serait « la trajectoire évolutive de la raison et de l’intelligence humaine ». La connaissance de ce que représente la singularité apparait donc incontournable pour qui s’intéresse à l’avenir de l’humanité qui est aujourd’hui dans l’un de ses grands moments de bascule qui l’ont fait progresser.
A l’heure où 16% des Français croient que l’alunissage d’Apollo en 1969 a été une mise en scène, 20% des jeunes de 25 à 34 ans croient que la Terre est plate et que 4 Français sur 10 déclarent adhérer à au moins une contre-vérité scientifique, [3] la connaissance des mécanismes de l’IA apparait indispensable, salutaire même.
Selon les orientations que nous prendrons, le chemin vers un futur meilleur sera plus ou moins chaotique, voire terrifiant. C’est la grande leçon à retenir et nous détenons la capacité d’emprunter des chemins plus ou moins ardus…
En savoir plus :
Blog de Paul Jorion https://www.pauljorion.com/blog/ L’avènement de la singularité ; Éditions TEXTUEL ; Collection « Petite Encyclopédie Critique »
Isaac Asimov ; The Evitable Conflict, nouvelle publiée dans la revue Astounding Science-Fiction ; 1950. Fondation (Foundation) ; roman de science-fiction composé de cinq nouvelles, dont quatre publiées entre 1942 et 1944 et la cinquième en 1951 dans la revue Astounding Science-Fiction. Édition intégrale française chez OMNIBUS ; 1999.
Irving John Good ; Speculations Concerning the First Ultraintelligent Machine ; http://acikistihbarat.com/dosyalar/artificial-intelligence-first-paper-on-intelligence-explosion-by-good-1964-acikistihbarat.pdf
Site Valkyrie dédié à l’IA https://valkyrie-ai.com/quel-avenir-pour-lintelligence-artificielle-la-these-dirving-john-good-1712616603/#pll_switcher
[1] Darwin among the Machines ; article publié dans le journal The Press le 13 juin 1863 à Christchurch, en Nouvelle-Zélande.
[2] GPT pour Générative Pretrained Transformer (transformateur génératif pré-entrainé) ; GPT 1 est sorti en 2018 ; GPT 4 en mars 2023 avec une approche d’apprentissage en profondeur en capacité d’exploiter environ 1000 milliards de paramètres selon les données fournies lors de son lancement par Sam ALTMAN, le PDG d’ OPEN AI, la société développeur.
[3]Étude IFOP sur le complotisme du 13 avril 2024., la connaissance des mécanismes de l’IA apparait indispensable, salutaire même.
