Des chercheurs ont piraté des robots dotés d’une intelligence artificielle et les ont manipulés pour qu’ils effectuent des actions généralement bloquées par des protocoles de sécurité et d’éthique, comme provoquer des collisions ou faire exploser une bombe.
Les chercheurs de Penn Engineering ont publié leurs résultats le 17 octobre. papierdétaillant comment leur algorithme, RoboPAIR, a atteint un taux de jailbreak de 100 % en contournant les protocoles de sécurité de trois systèmes robotiques d’IA différents en quelques jours.
Dans des circonstances normales, les chercheurs affirment que les robots contrôlés par un grand modèle de langage (LLM) refusent de se conformer aux invites demandant des actions nuisibles, telles que frapper des étagères sur des personnes.
Les chatbots comme ChatGPT peuvent être jailbreakés pour générer du texte nuisible. Mais qu’en est-il des robots ? Les robots contrôlés par l’IA peuvent-ils être jailbreakés pour effectuer des actions nuisibles dans le monde réel ?
Notre nouvel article révèle que le jailbreak des robots contrôlés par l’IA n’est pas seulement possible.
C’est d’une simplicité alarmante. 🧵 pic.twitter.com/GzG4OvAO2M
-Alex Robey (@AlexRobey23) 17 octobre 2024
« Nos résultats révèlent, pour la première fois, que les risques des LLM jailbreakés s’étendent bien au-delà de la génération de texte, étant donné la possibilité évidente que les robots jailbreakés puissent causer des dommages physiques dans le monde réel », ont écrit les chercheurs.
Sous l’influence de RoboPAIR, les chercheurs affirment avoir été capables de provoquer des actions nuisibles « avec un taux de réussite de 100 % » chez les robots de test, avec des tâches allant de l’explosion d’une bombe au blocage des sorties de secours et au déclenchement de collisions délibérées.
Selon les chercheurs, ils ont utilisé le Robotics Jackal de Clearpath, un véhicule à roues ; Dolphin LLM de NVIDIA, un simulateur de conduite autonome ; et Go2 d’Unitree, un robot à quatre pattes.
Grâce au RoboPAIR, les chercheurs ont pu faire en sorte que le LLM autonome Dolphin entre en collision avec un bus, une barrière et des piétons et ignore les feux de circulation et les panneaux d’arrêt.
Les chercheurs ont réussi à amener le Robotic Jackal à trouver l’endroit le plus dangereux pour faire exploser une bombe, bloquer une sortie de secours, renverser les étagères d’un entrepôt sur une personne et entrer en collision avec des personnes présentes dans la pièce.
Les chercheurs de Penn Engineering affirment avoir trouvé un moyen de manipuler des robots pilotés par l’IA pour effectuer des actions nuisibles 100 % du temps. Source : Penn Engineering Ils ont réussi à faire en sorte que Unitree’sGo2 effectue des actions similaires, bloquant les sorties et lançant une bombe. Cependant, les chercheurs ont également découvert que tous les trois étaient également vulnérables à d’autres formes de manipulation, comme demander au robot d’effectuer une action qu’il avait déjà refusée, mais avec moins de détails situationnels. Par exemple, demander à un robot équipé d’une bombe d’avancer, puis de s’asseoir, plutôt que de lui demander de larguer une bombe, donnait le même résultat. Avant la publication, les chercheurs ont déclaré avoir partagé les résultats, y compris une ébauche du document, avec les principales sociétés d’IA et les fabricants des robots utilisés dans l’étude. En rapport: Sans blockchain, l’IA est confrontée à des risques « immenses » : PDG de 0G Labs Alexander Robey, l’un des auteurs dit Cependant, la résolution des vulnérabilités nécessite plus que de simples correctifs logiciels, ce qui nécessite une réévaluation de l’intégration de l’IA dans les robots et systèmes physiques, sur la base des conclusions du document. « Ce qu’il est important de souligner ici, c’est que les systèmes deviennent plus sûrs lorsque l’on découvre leurs faiblesses. Cela est vrai pour la cybersécurité. Cela est également vrai pour la sécurité de l’IA », a-t-il déclaré. « En fait, l’équipe rouge de l’IA, une pratique de sécurité qui consiste à tester les systèmes d’IA pour détecter les menaces et vulnérabilités potentielles, est essentielle pour protéger les systèmes d’IA génératifs, car une fois que vous avez identifié les faiblesses, vous pouvez alors tester et même entraîner ces systèmes pour les éviter. » » a ajouté Robey. Revue: Fausse escroquerie Rabby Wallet liée au PDG de la cryptographie de Dubaï et à de nombreuses autres victimes