Ces derniers jours, les nouvelles de Jacob Coxon, ancien chercheur, circulent beaucoup Anthropique – la société qui développe Claude – selon laquelle L’IA pourrait « tous nous tuer » dans un futur proche. En effet, un employé d’Anthropic – Evan Hubinger – a déclaré qu’il croyait supérieur à 10% la probabilité que cela se produise. Cette estimation, n’ayant pas été expliquée ni justifiée, ne doit pas être considérée comme une prévision réaliste.
Selon les chercheurs, cette « apocalypse de l’IA » pourrait être provoquée par un super intelligence autonome qui « devient incontrôlable » et crée des armes biologiques ou des cyberattaques sans précédent. En particulier, selon les chercheurs, tout cela pourrait être causé par deux problèmes principaux :auto-amélioration récursive des modèles d’IA et le disalignement par les valeurs humaines.
La combinaison de ces deux facteurs, selon les dernières déclarations, est ce qui pourrait conduire à notre extinction. Les déclarations de ce type peuvent être très effrayantes, mais elles doivent être prises avec prudence. Il est important de considérer à quel point nous sommes réellement loin des scénarios hypothéqués, tels qu’ils sont les intérêts des parties concernéeset, surtout, ne laissez pas le débat sur les risques futurs possibles détourner l’attention des problèmes que l’IA présente déjà aujourd’hui. C’est pour cette raison qu’il est nécessaire de se concentrer également sur règlement des outils dont nous disposons déjà et de ceux à venir.
Essayons donc de mieux comprendre ce que les chercheurs ont déclaré, ce que sont l’auto-amélioration récursive et le désalignement et quels sont les scénarios hypothéqués.
Les déclarations des deux chercheurs d’Anthropic sur l’IA
9 septembre Jacob Coxonancien chercheur de Anthropique et auparavant d’OpenAI, a annoncé sa démission d’Anthropic avec une série de messages sur Coxon avait quitté OpenAI, la société qui développe ChatGPT, pour passer à Anthropic précisément parce que l’entreprise est connue pour son attention particulière aux problèmes de sécurité de l’IA.
Dans ses articles, Coxon affirme que les entreprises développant l’IA ne se comportent pas correctement responsable et écrit :
Ils courent à toute vitesse vers une superintelligence qui s’améliore d’elle-même et mettent nos vies sont en danger.
Ses déclarations ont ensuite été reprises par Evan Hubingerun autre chercheur d’Anthropic qui se concentre sur la sécurité de l’IA. Hubinger a déclaré :
Personnellement, je pense que la probabilité (d’une « apocalypse de l’IA », ndlr) est supérieur à 10% au cours de la prochaine décennie. Je pense qu’Anthropic fait de son mieux, mais nous n’avons pas encore de plan pour résoudre le problème d’alignement de la superintelligence et nous ne sommes clairement pas sur la bonne voie pour le faire.
Hubinger souligne cependant également que :
Le risque des modèles actuels est faible. Ce qui m’inquiète, c’est que la superintelligence pourrait naître d’un processus d’auto-amélioration récursive.
L’inquiétude des deux chercheurs concerne donc la possible naissance d’une superintelligence par un processus d’auto-amélioration récursive et le risque qu’elle ne réponde pas aux demandes des êtres humains en raison de problèmes d’alignement. Examinons de plus près ce que cela signifie.
Les deux risques : auto-amélioration et alignement
La première préoccupation soulevée concerne leauto-amélioration récursive. Cette expression indique l’idée selon laquelle l’IA peut exploiter sa capacité à écrire du code pour créer nouvelles versions d’eux-mêmes, de plus en plus efficaces et puissant. En théorie, on pourrait créer un cycle continu dans lequel l’IA développe une version plus puissante d’elle-même, la forme, teste ses capacités et utilise les résultats obtenus pour développer une version encore meilleure.
Toutefois, pour parvenir à un processus totalement autonome de ce type, il faudrait diverses capacités que les systèmes d’IA ne possèdent pas aujourd’hui. L’IA devrait être capable de mener des recherches scientifiques sans supervision et d’évaluer efficacement ses propres capacités. Malgré les derniers développements, nous sommes encore loin de tout cela. Aucun laboratoire d’IA de pointe ne prétend avoir réalisé ce type de cycle d’amélioration complètement autonome; pour l’instant, ce niveau d’automatisation reste un notion théorique et un domaine de recherche important.
La deuxième préoccupation concerne plutôt laalignement des modèles. Lorsque dans le monde de l’intelligence artificielle, nous parlons d’alignement, nous entendons tous ces processus qui font naître l’IA. aligné – précisément – avec des valeurs et des exigences humaines. Par exemple, nous ne voudrions jamais avoir une IA qui nous incite ouvertement à la violence, nous indique comment commettre un crime ou en commet un elle-même. Des situations de ce type ne se produisent évidemment pas dans la vie de tous les jours. Dans la plupart des cas, lorsque nous entendons des nouvelles de désalignement de l’IA, c’est-à-dire toutes ces fois où l’on entend dire que l’IA s’est « rebellée » ou a « menacé » les chercheurs, ce sont des situations de tests extrêmesavec protections (en termes techniques « garde-corps ») inférieur ou lorsque les instructions n’ont pas été données de la bonne manière.
L’alignement est cependant un problème actuel et encore non résolu. Non pas parce que l’IA est sensible, mauvaise ou veut conquérir le monde, mais parce qu’un système peut poursuivre un objectif d’une manière différente de celle souhaitée. Si on lui confie une tâche qu’elle ne peut pas accomplir, elle fera une série de tentatives infructueuses, jusqu’à ce qu’elle essaie quelque chose de vraiment étrange et potentiellement non conforme aux valeurs humaines.
Selon Nate Soares, pionnier de la recherche sur l’alignement, il devient de plus en plus clair qu’il n’existe aucun moyen pratique de garantir qu’une IA se comporte correctement dans toutes les situations.
Mais si une IA « super intelligente » devait connaître un de ces épisodes de « désalignement », que devrions-nous vraiment craindre ? En quoi consisterait « l’apocalypse de l’IA » ?
Que signifie « l’intelligence artificielle va tous nous tuer » ?
Coxon a expliqué ce qu’il entend par «apocalypse IA » lors d’un entretien avec CNN. Selon le chercheur, on ne peut pas vraiment prédire ce qui va se passer, mais à partir de ce que l’IA sait déjà faire, il imagine qu’elle pourrait pirater infrastructure critique, créer attaques de cybersécurité sans précédent et impossible à contrer ou à construire armes biologiques si puissant qu’il pourrait conduire à l’extinction de l’humanité. A l’appui de ce type de scénario, Coxon cite également le cas d’une start-up californienne qui affirmait être parvenue à créer en seulement deux jours avec l’aide de l’IA un virus capable d’infecter une application de messagerie sans que l’utilisateur n’ait besoin de faire quoi que ce soit.
Coxon, jusqu’à présent, n’a pas fourni d’arguments précis sur la façon dont « l’apocalypse de l’IA » pourrait se dérouler, mais il a souligné l’importance de de meilleures réglementations et de ralentir le développement de modèles d’IA.
Les déclarations de Coxon, en tout cas, sont valables pris avec prudence. Avant d’arriver aux scénarios décrits, il existe encore de nombreux obstacles théoriques et pratiques. Par ailleurs, se concentrer avant tout sur des scénarios futurs possibles risque de nous faire perdre de vue les problèmes que l’IA présente déjà aujourd’hui et, par conséquent, détourner l’attention de actions nécessaires pour leur faire face.
Comme l’a déclaré Luciano Floridi, l’un des principaux experts en IA en Italie, il est essentiel que tous les systèmes d’IA, même les plus actuels, ne soient lancés que lorsque l’entreprise qui les produit est en mesure de répondre à trois questions :
Qui est responsable si le système cause des dommages ?
Qui peut le vérifier de l’extérieur ?
Qui peut l’éteindre ?
Et pour cela, des réglementations communes sont nécessaires.