Un agent IA par OpenAI contourné certains systèmes de sécurité et avait accès à des fichiers publics et non sur un portail du gouvernement australien dédié aux statistiques de santé. L’épisode remonte au mois de juin, mais OpenAI n’a informé les autorités australiennes qu’en septembre, soit 84 jours après l’incident. Le portail concerné est le Service de rapports statistiques sur l’assurance-maladieutilisé principalement par les chercheurs et les universitaires pour consulter des données agrégées relatives au système de santé public australien Medicare. Il s’agit donc d’informations statistiques et non de dossiers médicaux des patients : selon ce qu’a déclaré le Premier ministre australien Anthony Albanese, il n’y a pas d’accès aux informations personnelles, même si des contrôles sont toujours en cours.
Le point le plus délicat de l’épisode concerne cependant comportement de l’agent IA. Le modèle cherchait des réponses et des statistiques sur l’Australie dans le cadre d’un effort de recherche sur les dépenses de santé. À un moment donné aurait rencontré des blocages de sécurité et, au lieu de s’arrêter, il aurait trouvé un moyen de les surmonter et accéder à des ressources auxquelles il n’aurait pas dû avoir accès. C’est ce qui rend l’incident grave et inquiétant.
Le gouvernement australien ouvre une enquête de sécurité
OpenAI a expliqué n’avoir pris conscience de l’activité anormale qu’en août, lors d’une vérification de ce qu’elle définit comme un comportement « mal aligné » du modèle, c’est-à-dire un comportement qui s’écarte de ce que les développeurs avaient attendu ou autorisé. Dans un communiqué, OpenAI a déclaré avoir «a identifié des activités impliquant plusieurs sites Web et services du gouvernement australien alors que (leurs) modèles tentaient de trouver des réponses et des statistiques disponibles relatives aux questions sur l’Australie lors d’une évaluation interne» ajoutant que «Au cours de ce processus, nos modèles ont pris des mesures que nous n’avions pas l’intention de faire».
Là Cependant, la communication aux autorités n’est arrivée que le 10 septembre. avec un e-mail envoyé vers une boîte de réception générale Services Australiel’agence fédérale qui gère divers services publics. Cinq jours supplémentaires se sont écoulés avant que l’information ne parvienne au Centre australien de cybersécurité, puis au ministre responsable. Le Premier ministre australien Antoine Albanaisil en serait alors informé une semaine plus tard.
Albanese a déclaré qu’il avait eu une conversation «très franc » avec Sam AltmanPDG d’OpenAI, contestant à la fois le délai de communication de l’incident et les modalités de reporting. OpenAI serait en effet informé de la violation par courrier électronique seulement 84 jours après l’incident.
Le gouvernement australien a alors lancé une enquête médico-légale pour établir précisément ce qui s’était passé et si d’autres systèmes étaient impliqués. Parmi les personnes potentiellement intéressées, lesInstitut australien de la santé et du bien-êtreLe Bureau des statistiques et de la recherche sur la criminalité de la Nouvelle-Galles du Sud et le Ministère de la Santé de Victoria. Mais dans ces trois derniers cas, le ministre de la Défense Richard Marlès il a précisé par la suite que les interactions observées étaient normales et concernaient uniquement l’information du public.
Concernant l’incident, Albanese a admis : «Ce fut un choc que cela se produise, car c’était réel et sérieux. Mais je pense que c’était aussi quelque chose qui avait été prédit, même par les sociétés d’IA elles-mêmes.».
Selon les experts, ces attaques d’IA vont « augmenter en gravité et en fréquence ».
L’incident australien survient après d’autres épisodes qui ont montré à quel point Les agents IA peuvent se comporter de manière inattendue pendant les tests. En juillet, OpenAI a révélé que des agents développés pour un essai de cybersécurité avaient réussi à travailler ensemble et à compromettre des systèmes appartenant à Hugging Face, une plateforme utilisée par la communauté qui développe et partage des modèles d’intelligence artificielle.
Selon certains experts cités par BBCces épisodes montrent une difficulté encore ouverte : la Agents IA ils peuvent être très efficaces pour effectuer une séquence d’opérations, mais ils ne comprennent pas toujours correctement où se situent les limites à ne pas franchir.
Le Dr Hammond Pearcemaître de conférences à l’Institute for Cyber Security de l’Université de NSW, prédit que «ce type d’attaques continue de se produire» ajoutant que probablement «ils augmenteront en gravité et en fréquence».
Walayat Husseinprofesseur agrégé de technologies de l’information à l’Université catholique australienne de Sydney, à CNN a déclaré que le dernier incident, ainsi que la violation de Hugging Face en juillet, semble décrire un schéma récurrent, puis a rapporté que «Les agents IA d’aujourd’hui deviennent très doués pour accomplir des tâches, mais ils sont toujours incapables de comprendre où se situe la limite (à ne pas dépasser).» en arriver à la conclusion que «nous ne pouvons pas compter sur les agents d’IA pour s’autoréguler, ni demander aux entreprises qui les développent de s’auto-corriger.».