Ne laissons pas une intelligence artificielle jouer avec les bombes nucléaires !

« Je lui ai un jour demandé, alors qu’il se savait mourant et que ça le tourmentait beaucoup : « Tu envisages sans état d’âme l’élimination de millions d’individus, mais tu ne peux admettre ta propre mort. » Il m’a répondu : « ça n’a rien à voir. » »

Au moment où l’on commémore le 6 août l’anniversaire de la terrifiante attaque atomique sur Hiroshima, la sortie récente du film Oppenheimer de Christopher Nolan sur l’homme qui dirigea le projet Manhattan de 1942 à 1945 pour construire la bombe atomique nous rappelle, probablement pas par hasard, que l’humanité se retrouve aujourd’hui de nouveau face au spectre d’une guerre ouverte entre puissances nucléaires.
Un événement apparemment sans rapport avec cela a défrayé la chronique il y a quelques mois : un père de famille atteint d’éco-anxiété s’est suicidé après avoir « dialogué » pendant 6 semaines avec Eliza, une intelligence artificielle générative en ligne dont il serait tombé amoureux.
Ces deux cas distincts reflètent sans doute une maladie mentale dont est atteinte notre société : aurions-nous perdu le sens de ce qui fait de nous des êtres humains ? Ne commettons pas ici l’erreur d’accuser pour cela les technologies que l’humanité a développées avec la science et dont elle a besoin pour assurer l’existence durable des générations futures, qu’il s’agisse de l’utilisation de l’énergie nucléaire ou de l’informatique. La faute n’est pas dans nos outils, ni même dans nos étoiles, mais en nous-mêmes. Parce que nous délaissons de plus en plus notre bien le plus précieux : notre intelligence naturelle. Comment cela est-il arrivé ?
Pour trouver un élément de réponse à cette question, examinons le cas d’un homme, doté selon toute apparence d’une intelligence exceptionnelle, mais peu connu du grand public bien qu’il ait profondément marqué entre autres l’histoire de la bombe et celle de l’ordinateur au siècle dernier : John von Neumann (1903-1957).

Une biographie très intéressante, John von Neumann, l’homme qui venait du futur, qui vient justement d’être publiée au début de cette année par Ananyo Bhattacharya, nous servira de référence. Ne partageant pas totalement le point de vue de l’auteur au sujet de celui qu’il appelle « l’un des plus grands génies du siècle », nous allons montrer en quoi l’influence de von Neumann pose problème pour la science et pour notre manière de penser. Au passage, ceci nous permettra de combler une lacune du film Oppenheimer : von Neumann n’y apparaît pas parmi tous les savants évoqués dans cette histoire, alors qu’il joua un rôle de premier plan dans le projet Manhattan.

L’intelligence peut-elle être artificielle ?

Pour commencer ne devrions-nous pas nous interroger sur ce qu’est cette mystérieuse notion d’intelligence ? Ou, si cette question est trop difficile, nous rabattre sur ce que serait la stupidité ? Pour des raisons qui devraient paraître claires dans ce qui suit, il est probablement impossible de donner une définition formelle complète de l’intelligence. Il faut cependant reconnaître que ce qui a contribué à rendre cette notion confuse dans l’esprit du plus grand nombre, provient largement des discussions suscitées depuis 80 ans autour de ce qu’on appelle « intelligence artificielle ». Fondamentalement, que fait une intelligence artificielle ? Elle collecte un grand nombre de données selon un protocole préalablement défini ; elle traite ces données, selon un autre protocole prédéfini ; et en fonction de cela, elle effectue un certain nombre d’actions selon un protocole tout aussi prédéfini que les précédents.
Nous avons tous en mémoire un certain nombre de réalisations techniques spectaculaires comme la victoire d’une machine sur un joueur de go qui aurait « appris » à jouer par elle-même, ou le fait qu’une machine soit capable de reconnaître un chat quand on lui présente une photo de chat, ou encore la production de textes ou de discours par des robots comme Eliza ou ChatGPT qui ressemblent à s’y méprendre à des textes ou discours venant d’êtres humains réels. Mais tout ceci est-il réellement intelligent ? Qu’une machine nous dépasse dans les tâches mécaniques pour lesquelles nous l’avons construite n’a rien de nouveau dans l’histoire de l’humanité : si ce n’était pas le cas, on ne voit pas quel intérêt il y aurait eu à construire des machines.

Aujourd’hui, les experts sont bien obligés de reconnaître que le fameux « test de Turing » énoncé vers 1950 est insuffisant pour dire si une machine serait intelligente ou non. Rappelons que ce test consistait en un dialogue en aveugle entre un être humain et une machine. Le jour où l’être humain ne serait plus capable de reconnaître que son interlocuteur n’est pas un être humain, alors on pourrait dire que l’intelligence de la machine a dépassé la nôtre. Rendons-nous à l’évidence : l’histoire tragique de l’utilisateur d’Eliza ne montre pas que le chatbot est intelligent, mais plutôt que la faculté de penser de son interlocuteur avait été égarée par sa dépression.
Néanmoins, la « philosophie » sous-jacente au test de Turing demeure. Une machine est dite « intelligente » parce qu’avant tout, elle est capable de « reconnaître » quelque chose : image, parole, texte, etc. Elle reconnaît que les données qui lui sont présentées appartiennent à une catégorie dans laquelle se trouvent d’autres données qu’elle a déjà en mémoire. L’intelligence consisterait donc à savoir classer de nouvelles expériences parmi les expériences du passé ? C’est ce que semble suggérer le test de Turing.
Pour approcher la notion d’intelligence, sans doute devrions-nous plutôt partir du sens commun qui nous dit qu’« il n’y a que les imbéciles qui ne changent jamais d’avis. » On reconnaît un individu intelligent à sa capacité d’émettre des idées nouvelles – qui arrivent comme par surprise pour son entourage – et d’abandonner les vieilles quand elles lui paraissent fausses. C’est évidemment le cas de ceux qui font des découvertes scientifiques car ils doivent tester beaucoup d’hypothèses fausses avant d’en trouver une bonne.

Partant de là, il devrait être facile de montrer qu’une intelligence artificielle ne peut pas faire une découverte fondamentale et que seul un être humain en est capable. Prenons pour cela l’exemple de Mendeleïev, celui qui a découvert la classification périodique des éléments chimiques. S’il s’était contenté de traiter les très nombreuses données empiriques disponibles à son époque, il n’aurait jamais pu montrer qu’il existe une certaine périodicité qui lie les propriétés chimiques des éléments à leur masse atomique. Tout d’abord, parce que l’existence des atomes n’était pas encore démontrée – c’est justement la découverte de Mendeleïev qui a rendu cela possible.
Ensuite, parce que son hypothèse semblait contredite par les données existantes : celles-ci suggéraient notamment que l’argon devait être plus lourd que le potassium, mais ceci n’était pas compatible avec l’idée de périodicité qu’il cherchait à établir. Mendeleïev a donc considéré que son hypothèse était bonne et que l’interprétation des données était fallacieuse, et la suite lui a donné raison. Cette décision a pavé la voie à la découverte de la physique atomique sans laquelle nous n’aurions pas d’ordinateurs, ni d’intelligences artificielles.
Ne sachant que traiter des données du passé – comme si c’étaient des « réalités objectives » – aucune intelligence artificielle, aucun mécanisme ne pourrait faire une telle découverte. Un être humain intelligent est, au contraire, capable de reconnaître le caractère fondamentalement subjectif des données, des axiomes et des règles préétablies, et peut toujours imaginer quelque chose de pertinent qui ne se déduit pas de la connaissance passée.

L’approche axiomatico-déductive de von Neumann.

Tout repose chez von Neumann sur sa passion pour les mathématiques. Le monde physique ne l’intéresse que dans la mesure où il lui donne l’occasion de résoudre des problèmes mathématiques. Grâce à la guerre, par exemple, il a pu exercer ses talents pour calculer les trajectoires des missiles balistiques…
Celui que le jeune von Neumann admire par-dessus tout au début du XXe siècle règne sur la prestigieuse faculté de mathématiques de Göttingen. C’est David Hilbert, qui considère l’axiomatisation complète des mathématiques comme le grand projet qui doit couronner sa carrière. Hilbert rêve d’un langage bâti sur un nombre fini d’axiomes, de postulats et de règles à partir desquels tout théorème mathématique pourrait être démontré en un nombre fini d’étapes. Il espère donner ainsi aux mathématiques des fondements inébranlables. Von Neumann lui apporte un soutien bienvenu dans ces travaux.

Commençant ce programme de recherche par le domaine particulier de l’arithmétique, Hilbert annonce que sa réussite dépendra de la démonstration de trois propositions qu’il juge fondamentales. Son rêve est brisé en 1931 par le jeune Kurt Gödel qui montre que la première de ces propositions est fausse (Gödel et Turing montreront par la suite que les deux autres le sont également). Plus précisément, cette proposition stipulait qu’on peut construire un ensemble complet d’axiomes en arithmétique, c’est-à-dire un ensemble d’axiome à partir duquel tout théorème arithmétique pourrait être démontré. Mais Gödel montre que quel que soit l’ensemble fini d’axiomes d’arithmétique considéré, il est toujours possible de produire au moins une proposition d’arithmétique qui ne peut être déduite de l’ensemble des axiomes, mais qui pourtant est vraie. Tout ensemble fini d’axiomes est donc nécessairement incomplet.
Ce résultat de Gödel qui anéantit le projet de Hilbert, eut néanmoins une retombée positive par la suite. Pour bâtir sa démonstration, Gödel a imaginé un système astucieux qui permettait d’associer chaque « mot » du langage mathématique et chaque proposition construite avec ces mots, à des produits de nombres premiers. Il avait donc inventé un véritable système de « codage » par des nombres. Ceci servit de source d’inspiration quelques années plus tard à ceux qui développèrent les langages des ordinateurs.
Admiratif du théorème dit « d’incomplétude » de Gödel qu’il retrouva quelques années plus tard avec Einstein à Princeton, après que tous les trois avaient émigré aux États-Unis à cause de la montée du nazisme en Europe, von Neumann n’a pourtant jamais renoncé à appliquer une approche axiomatico-déductive à tous les domaines de la science – et ils sont nombreux – auxquels il a été associé par la suite. Gödel ayant montré que les mathématiques ne pouvaient être enfermées dans aucun cadre axiomatique, il aurait donc été légitime de penser qu’il en soit de même, à plus forte raison, pour les lois physiques de l’univers pour lesquelles les mathématiques ne donnent qu’une description approximative.
(Et, compte tenu du fait que l’informatique est nécessairement bâtie sur une arithmétique « incomplète », il aurait dû être clair également dès cette époque-là qu’aucune modélisation informatique que ce soit ne pourrait donner une description exacte des phénomènes du monde réel, même si la modélisation doit jouer un rôle indispensable dans la science pour assister l’intelligence humaine du chercheur.)
Toute théorie scientifique s’appuie nécessairement sur un certain nombre d’axiomes ou de présupposés. On peut en déduire certains faits expérimentaux, voire anticiper certaines découvertes cohérentes avec les théories existantes. Par exemple : l’idée du trou noir en astrophysique se déduit de la théorie de la relativité générale et a donc été énoncée longtemps avant sa confirmation expérimentale. Il existe cependant des découvertes fondamentales qui contredisent les théories existantes, comme la découverte de la relativité, qui provoquent des révolutions scientifiques. Il devient alors nécessaire de rejeter certains axiomes admis, pour les remplacer par d’autres plus avancés. Ceci impose de reconnaître le caractère essentiellement provisoire des axiomes, et il vaudrait alors mieux utiliser le mot « hypothèse ».
Malheureusement, avec le développement spectaculaire des ordinateurs puis de l’intelligence artificielle, von Neumann a convaincu de nombreux scientifiques d’admettre des axiomes arbitraires dans leurs disciplines, et ceci reste vrai encore aujourd’hui.
Ceci concerne en particulier les sciences de la vie, de la pensée, et des relations sociales. De manière caricaturale, les publications scientifiques concernant ces domaines sont aujourd’hui truffées de mots et d’expressions empruntées au vocabulaire de l’informatique. La molécule d’ADN qui se trouve dans le noyau de nos cellules, par exemple, est réputée contenir notre « code » génétique. De même, on parle dans les sciences du cerveau de « circuits » neuronaux, de « stockage de l’information », de « traitement du signal », de « codage », etc.
Cette approche réductionniste a pourtant conduit la recherche dans de nombreuses impasses. Voir l’ADN comme une série linéaire de codes constituant une sorte de programme informatique, fait totalement abstraction de sa forme géométrique remarquable en double hélice. Cette forme suggère que la molécule devrait être vue comme un tout dans son environnement organique et non pas comme une simple série d’éléments individuels. Aurait-on oublié les leçons du grand physiologiste du siècle précédent, Claude Bernard, pour qui l’organisme vivant n’est pas une simple addition d’organes morts mais un tout harmonieux ?
En ce qui concerne le cerveau on sait, ou on devrait savoir, que les neurones biologiques n’ont pas grand-chose à voir avec les neurones artificiels qui reçoivent en entrée des signaux logiques (« 0 » ou « 1 ») en fonction desquels ils transmettent des réponses binaires à d’autres neurones par des connexions passives. En réalité, l’activité des neurones biologiques n’est pas simplement électrique, mais aussi chimique, leurs « signaux » ne sont pas binaires mais analogiques, et les dendrites ne sont pas des câbles passifs entre neurones mais ont elles-mêmes une activité dans ce tout qu’on appelle cerveau.
Ceci est connu depuis longtemps, mais n’a pas empêché le lancement du projet absurde « Human Brain Project » (Projet du cerveau humain) visant à simuler un cerveau humain par un superordinateur, pour un coût exorbitant.

La guerre n’est pas un jeu

John von Neumann dont le cynisme est légendaire, semble considérer que les relations entre êtres humains sont nécessairement basées sur le conflit. Partant de l’axiome fondamental selon lequel un individu est dit « rationnel » si, dans ses relations sociales, son comportement se réduit à une recherche de bénéfice personnel, von Neumann développe une « Théorie des jeux » qu’il veut appliquer aussi bien à l’économie qu’à la géopolitique et l’art de la guerre.
Dans le domaine économique on aura reconnu là une version plus moderne des vieilles théories du « libéralisme » britannique inspirées par Bernard Mandeville au XVIIIe siècle qui tentèrent de diverses manières de faire passer l’égoïsme pour une vertu. Au siècle suivant l’économiste Friedrich List avait attaqué ce système en montrant que le succès économique de l’Empire britannique provenait du fait qu’il avait imposé au reste du monde des règles de libre-échange, tout en pratiquant le contraire chez soi… Plus tard encore, l’économiste américain Lyndon LaRouche montra que les économistes s’étant basés sur la théorie des jeux de von Neumann, s’étaient avérés incapables de voir venir les crises systémiques qui se sont produites à partir de la fin du système de Bretton Woods, le 15 août 1971 (von Neumann étant alors décédé, il ne put voir les effets de ses idées). Pour LaRouche, la source de la croissance économique ne se trouve pas dans la somme algébrique des profits individuels, mais dans le développement des capacités créatrices des membres de la société.
Examinons l’exemple habituel par lequel on présente la théorie des jeux. Deux membres d’une bande de gangsters ont été arrêtés par la police et sont enfermés dans une cellule sans pouvoir communiquer entre eux. On propose à chacun d’eux un marché. Chacun peut soit témoigner contre son complice, soit se taire. Si les deux se taisent, ils auront chacun un an de prison ; s’ils parlent tous les deux, ils auront chacun deux ans de prison ; si l’un d’eux parle et l’autre se tait, celui qui aura parlé sera libéré, tandis que l’autre aura trois ans de prison.
La « solution » de cet exemple simple de la théorie des jeux est évidente : chacun des prisonniers étant « rationnel », il va dénoncer l’autre et écoper de deux ans de prison, alors que leur véritable intérêt commun aurait été qu’ils changent l’axiome de base et se taisent tous les deux. Évidemment, deux malfrats ne changeront pas facilement d’axiomes, mais cet exemple nous donne une idée de la conception de l’être humain chez von Neumann.
Ceci étant posé, on comprend mieux comment le comportement inhumain de ce grand mathématicien lorsqu’il est question de la guerre. Von Neumann a pris une part active au projet Manhattan : il a calculé quelle devrait être l’altitude optimale à laquelle la bombe d’Hiroshima devrait exploser pour provoquer l’impact le plus destructeur possible. Sans doute pourrait-on répondre à cela que c’est bien triste, mais que c’est la logique de la guerre. Néanmoins, Oppenheimer a compris après coup que les deux bombes, surtout la seconde à Nagasaki, étaient militairement inutiles car le Japon était déjà vaincu. Il fit donc campagne contre le développement de la bombe H et utilisa son prestige pour défendre l’idée d’une entente de sécurité commune avec les soviétiques. Il fut en conséquence victime d’une chasse aux sorcières.
Von Neumann n’eut pas ce genre de problème. Bien au contraire, dans la même perspective que le mathématicien Bertrand Russell, il milita dès le lendemain de la Seconde guerre mondiale pour un bombardement nucléaire préventif de l’Union soviétique. Ce projet ne fut pas mis à exécution car les États-Unis n’avaient plus de bombes après les avoir larguées sur le Japon. Mais cette intention affichée d’en découdre donna un grand coup d’accélérateur au programme nucléaire russe.
Logique ? Oui, et d’une rigueur mathématique parfaite. Inévitable ? Non.

Changer d’axiomes

Octobre 1962 : c’est la crise des missiles de Cuba. Kennedy et Khrouchtchev n’ont pas lancé la Guerre froide, mais ils se sont trouvés piégés l’un est l’autre à la tête de deux puissances nucléaires antagonistes. De plus, comme on peut en avoir une petite idée en voyant le film 13 jours, l’un et l’autre étaient entourés de conseillers qui pensaient pouvoir gagner une guerre nucléaire. Chercher la paix avec de tels entourages pouvait aussi bien provoquer un coup d’État à domicile. Bref, un cas d’étude qui aurait certainement passionné von Neumann pour mettre ses théories en application. Il n’était plus là, mais il avait certainement beaucoup de disciples dans les états-majors.
Comment a-t-on évité la catastrophe ? Le président russe et le président américain ont simplement changé d’axiomes : ils ont utilisé un canal de communication non officiel mais direct entre eux qui court-circuitait les faucons des deux camps. Chacun a pu évaluer son intérêt et celui de l’autre, et ils ont trouvé un compromis qui sauvait la face à tout le monde : le retrait des missiles de Cuba contre celui des missiles de Turquie.
Sorti de cette crise, Kennedy fit un magnifique discours le 10 Juin 1963 appelant à la fin de la Guerre froide. Comme on le sait, il a été assassiné quelques semaines plus tard…
Concluons simplement par un extrait de ce discours :

« En résumé, les États-Unis et leurs alliés, tout comme l’Union soviétique et les siens, ont un intérêt mutuel profond à instaurer une paix juste et profitable, et à arrêter la course aux armements. Des accords dans ce sens sont de l’intérêt de l’Union Soviétique autant que du nôtre, et l’on peut croire que même la plus hostile des nations saura accepter et respecter les obligations d’un traité si elle y trouve son intérêt.

« Ne laissons pas nos divergences nous aveugler. Concentrons notre attention sur nos intérêts communs et sur les moyens qui nous permettront de résoudre ces divergences. Et si nous ne pouvons mettre fin à notre désaccord dans l’immédiat, nous pouvons au moins aider à préserver la diversité du monde dans lequel nous vivons. Car, pour finir, notre point commun fondamental, c’est que nous vivons tous sur cette petite planète. Nous respirons tous le même air. Nous chérissons tous l’avenir de nos enfants. Et nous sommes tous mortels. »