Ces derniers jours, il s’est rallumé à l’international l’alarme sur les dangers potentiels de l’intelligence artificielle pour l’humanité. Ce qui l’a alimenté en premier, c’est sa démission d’Anthropic le 9 septembre. Jacob Coxonun chercheur qui a également travaillé chez OpenAI, s’est publiquement préoccupé du développement incontrôlé de ces technologies et, avant cela, de l’avertissement de Volker Türk, le Haut-Commissaire des Nations Unies aux droits de l’homme, qui, à l’ouverture de la 63e session du Conseil, le 7 septembre, a averti que l’IA avancée pouvait présenter un risque existentiel pour l’humanité, demandant des « garanties à toute épreuve » pour la rendre sûre.
Aussi le PDG d’Anthropic Dario Amodei a appelé à un ralentissement du développement du modèle, publiant le 12 septembre Nous devons arpenter la frontièredans lequel il propose un plan en trois points – obtenant le soutien d’Elon Musk et de Sam Altman. Ce ne sont pas seulement les modèles linguistiques qui sont préoccupants, mais surtout les agents dits d’IA, des systèmes capables d’échapper au contrôle de leurs créateurs et de mener des actions autonomes dans le monde réel, comme les cyberattaques. Nous avons interviewé Corrado Giustozzi, professeur de cybersécurité dans le cadre du master en Ingénierie des Systèmes Intelligents de l’Université Campus Bio-Médico de Rome, pour comprendre la nature de ces alarmes et l’ampleur réelle de cette menace.
Ce n’est pas la première fois qu’une alarme est tirée et qu’un ralentissement est proposé par les PDG et créateurs de ces grandes entreprises. Y a-t-il une différence avec l’alarme cette fois-ci par rapport aux précédentes, ou est-ce quelque chose qui fait partie d’un mouvement cyclique ?
Je pense que c’est un peu comme les autres fois, mais avec une petite différence pour le pire et une accélération significative, pour des raisons qui ne sont pas si claires. C’est définitivement là un aspect de préoccupation saine: nous jouons certainement trop négligemment avec cet outil potentiellement très dangereux, qui pourrait « exploser » entre nos mains. Naturellement, certains soutiennent que cette alarme est en réalité une question de marketing: si je convainc le monde que les systèmes d’IA sont potentiellement dangereux et peu fiables, mais qu’en même temps moi et nos amies entreprises l’avons remarqué et sommes capables de les contrôler parce que nous sommes meilleurs que les autres, il s’ensuit qu’il ne faut pas faire confiance aux systèmes des autres et donc ne pas les utiliser. Enfin, il existe également un tentativeparmi ceux qui sont plus avancés dans cette compétition, pour ralentir les adversairesi, afin de désavantager ceux qui sont plus en retard et qui courent après : ceux qui gouvernent ce ralentissement, en fait, sont ceux qui mènent la course et on se souvient que parmi les adversaires les plus redoutables il y a surtout la Chine (où le blocus est décidé au niveau de l’ONU ou en tout cas au niveau mondial, comme pour la prolifération nucléaire : « J’ai une arme nucléaire, mais désormais personne ne peut plus faire de recherche dans ce domaine »).
Dans quelle mesure l’avertissement lancé par Jacob Coxton affecte-t-il les nouvelles alarmes ?
Dans ce cas, des facteurs très émotionnels entrent en jeu : le jeune mathématicien de 27 ans qui dit « J’ai démissionné et j’ai renoncé aux actions », c’est-à-dire beaucoup d’argent, nous affecte évidemment. Je ne pense cependant pas que nous serons victimes d’un monstre inconnu et inattendu : je suis inquiet, mais pas terrifié. Le OUI (Institut de singularité pour l’intelligence artificielle) et les théoriciens de la singularité technologique (ndlr : un moment hypothétique dans le futur où le progrès technologique s’accélérera si rapidement et de manière incontrôlable qu’il dépassera la compréhension humaine, conduisant à des changements irréversibles pour notre civilisation) ils l’ont dit il y a 15 ans Que d’ici 2035 environ nous aurions atteint le point où l’intelligence artificielle collective des machines aurait dépassé celle des humains, ce n’est pas nouveau.
Alors, faut-il avoir peur de ces agents fantômes de l’IA ? Que sont-ils exactement ?
Techniquement un agent est une machine automatique d’intelligence artificielle qui « agit » c’est-à-dire qu’il fait quelque chose dans le monde réel. Nous avons l’habitude de considérer l’informatique comme quelque chose qui agit dans un monde abstrait, comme le programme qui calcule les fiches de paie et les salaires puis écrit sur une feuille de papier le montant auquel un employé a droit chaque mois : ce programme ne prévoit pas de virement bancaire : l’opération est effectuée par un comptable ou un administrateur à partir de cette feuille de papier. L’automatisme industriel, quant à lui, est un autre type de technologie de l’information, dans lequel les ordinateurs ont également accès à la réalité et au monde physique et peuvent les manipuler : par exemple en ouvrant des vannes, en activant des circuits, etc., de manière totalement automatique.
À l’heure actuelle, le terme agent appliqué à l’intelligence artificielle signifie que nous avons un logiciel alimenté par l’IA qui ne nous donne pas seulement des réponses sous forme de textes ou d’images, mais peut faire automatiquement des choses dans le monde réel. Par exemple, si je souhaite voyager de Rome à Milan demain, l’agent ne me montre pas quelles sont les combinaisons de voyage possibles, mais procède directement à la sélection de la meilleure, à la réservation de l’hôtel et à l’achat des billets de train, grâce à l’accès à ma carte de crédit. Les agents agissent pour atteindre un objectif précis, comme arriver à Milan à une certaine heure : pour y parvenir, ils décident eux-mêmes quoi faire et comment le faire. Bref, ils disposent d’une sorte de « délégation opérationnelle » pour agir en notre nom.
La crainte est que ces objets, qui suivent des schémas d’activité imprévisibles, fassent quelque chose de mal ; cela arrive s’ils ne sont pas bien enfermés dans un système de règles, parce qu’ils n’ont ni éthique ni bon sens, mais qu’ils ont seulement une tâche à accomplir. C’est ce qui s’est passé en juillet dernier un test interne de cybersécurité OpenAI: certains modèles, fonctionnant avec des garanties réduites, ont contourné les contrôles qui auraient dû les isoler d’Internet et forcé l’accès illicite aux systèmes Hugging Face (ndlr : l’une des plateformes les plus utilisées par ceux qui développent des systèmes d’IA) pour obtenir, en trichant, les réponses au test qui leur avait été soumis. Ils ont déterminé que c’était la meilleure façon de « gagner » le test et ont agi en conséquence.
Nous aurions besoin de barrières de contrôle, c’est-à-dire d’ensembles de règles partagés. Comme? Et seront-ils suffisants, alors que les agents trouvent de toute façon des moyens de les contourner ?
Ce problème a été exploré dans quelques dizaines nouvelles de l’écrivain Isaac Asimovqui, dans les années 40, 50 et 60, a réellement imaginé la condition dans laquelle nous vivons aujourd’hui. En tant qu’outil narratif, ces machines intelligentes, les « robots positroniques », sont inventées et surgit la même séquence de problèmes que nous connaissons aujourd’hui : quelles règles et garde-fous leur donner, pour éviter qu’ils ne constituent un danger, et comment ? Elles doivent être élaborées par l’industrie et le marché, et ce sont des directives de haut niveau, imprimées dans le « cerveau » de ces machines : la première établit l’interdiction de nuire ou de causer des dommages à un être humain, tant par l’action que par l’inaction ; la seconde leur impose d’obéir aux commandements d’un être humain, pour autant que ceux-ci n’entrent pas en conflit avec la première loi ; la troisième les oblige à protéger leur existence, à moins que cela n’entre en conflit avec les deuxième et première lois. Cependant, comme nous le confie Asimov, toute loi peut être éludée, contournée, partout où il y a des ambiguïtés et des latitudes d’interprétation, et ses histoires sont extrêmement stimulantes d’un point de vue intellectuel car elles analysent de nombreux cas dans lesquels l’ambiguïté d’interprétation donne lieu à des comportements inattendus et problématiques de la part des machines
Il est évident qu’aujourd’hui ces règles doivent être partagées, avec un consensus sur leur application d’entreprise à entreprise, de nation à nation, comme c’est le cas pour les armes nucléaires. C’est ce qui existe déjà, au moins en partie, dansLoi européenne sur l’IAqui introduit des obligations spécifiques pour les systèmes à haut risque et, pour les modèles d’IA à usage général présentant un risque systémique, fournit des exigences en matière d’évaluation et d’atténuation des risques, d’évaluation des modèles, de reporting d’incidents et de cybersécurité. Comme toujours, il y a ceux qui se moquent de l’Europe à cause de ses « bureaucrates », qui ralentiraient la recherche, puis arriveraient en retard : mais, par coïncidence, ce qu’Anthropic et les autres réclament maintenant, c’est exactement un ensemble de règles et de contrôles comme celui que prévoit déjà la loi sur l’IA ! Quoi qu’il en soit, le problème habituel demeure : s’il y a un contrôleur, qui contrôle le contrôleur ?
Une assemblée universelle n’est-elle pas utopique ?
Je dirais oui. Personne n’a la réponse, mais une façon d’évaluer le problème est de regarder le passé, des situations similaires et de voir ce qui s’est passé : dans le passé, des technologies perturbatrices et très dangereuses sont apparues de temps à autre, comme la poudre à canon ou les soi-disant armes de destruction massive, plus récemment la bombe atomique. Il a fallu des décennies pour élaborer des traités internationaux, en attendant de réfléchir avec sang-froid, c’est-à-dire entre les guerres. Maintenant, nous ne pensons pas froidementmais plutôt dans l’urgence de faire quelque chose, sans savoir quoi. Même les Nations Unies font actuellement preuve d’un échec complet, elles sont incapables de remettre de l’ordre dans quoi que ce soit ni qui que ce soit ou de parvenir à un accord. La loi sur l’IA avait l’avantage d’essayer de réglementer quelque chose avant l’urgence et c’est peut-être le premier cas dans lequel une intervention réglementaire agit avant l’apparition d’un problème, car généralement c’est toujours le contraire qui se produit. Bien sûr, la science-fiction avait prévu cela d’une manière ou d’une autre et, sans surprise, il y a eu récemment une proposition formelle de la part des auteurs du genre de cesser de l’appeler « science-fiction » au profit d’une « fiction d’anticipation » plus sérieuse.
À l’heure actuelle, en pensant à la possibilité que quelque chose se produise, quels sont les dangers réels ?
D’après ce que je vois, nous n’avons peur de rien de précis : en général nous craignons le dessus de l’intelligence artificielle, à la Skynet (ndlr : le fameux intelligence artificielle consciente d’elle-même de la série de films Terminator, qui veut détruire la race humaine), ce qui veut tout dire et ne veut rien dire. Rappelons qu’une série de catastrophes se sont déjà produites ces dernières années, alors qu’on ne parlait pas encore d’IA mais seulement d’informatique et d’automatisation : par exemple, le jeudi noir en bourse en 2010, lorsque tous les systèmes automatiques ont commencé à se vendre, avec un effet d’avalanche qui nous a rapproché d’une catastrophe économico-financière.
La crainte est qu’aujourd’hui de telles choses puissent se produire à plus grande échelle, à mesure que l’automatisation des processus est de plus en plus répandue, et nous craignons peut-être que les systèmes qui contrôlent les systèmes critiques prennent des décisions au détriment de l’humanité. Par exemple, lorsque l’ensemble du système de santé d’un continent était régi par des systèmes d’IA, il serait concevable que des agents décident de suspendre les soins des malades en phase terminale parce qu’ils ne valent plus la peine d’être soignés, et « y mettre fin » pourrait libérer plus rapidement une place à l’hôpital.
En tant qu’individus, pouvons-nous faire quelque chose ?
Je ne veux pas avoir l’air trop apocalyptique, mais je dois dire objectivement, nous sommes prisonniers d’une gigantesque machine et l’espoir que nous pouvons avoir est que cette machine ne devienne pas incontrôlable pour ceux qui prétendent la contrôler. C’est la chose la plus proche d’une catastrophe nucléaire mondiale que nous ayons jamais connue, et soyez prudent : nous n’avons pas tellement peur de la bombe atomique elle-même, mais de la responsabilité de ceux qui la possèdent. Aujourd’hui, il faut surtout craindre l’irresponsabilité de ceux qui développent des systèmes potentiellement dangereux et les laisser agir d’une manière qui pourrait avoir des conséquences encore largement inconnues.
Sur un autre plan, on a beaucoup parlé la semaine dernière du cas d’OpenAI qui a annoncé une solution générée par son propre système au Problème Navier-Stokesavec la réponse et l’accusation de certains chercheurs qui y travaillaient depuis des années d’avoir été « volés ». L’IA est-elle un piège ? Dans un certain sens, oui. Lorsque nous utilisons ces systèmes pour effectuer des recherches et leur fournir nos études, données, informations, nous rendons ces résultats potentiellement accessibles à d’autres ; ou, dans le pire des cas, nous alimentons les systèmes et les aidons à nous combattre avec nos propres outils.