« Je veux jouer à un jeu »
Facepalm: Malgré tous les garde-corps que le chatte a mis en place, le chatbot peut toujours être trompé dans la sortie des informations sensibles ou restreintes grâce à l’utilisation d’invites intelligentes. Une personne a même réussi à convaincre l’IA de révéler les clés de produit Windows, dont une utilisée par Wells Fargo Bank, en lui demandant de jouer à un jeu de devinettes.
Comme expliqué par Marco Figueroa, le chef de produit de Bugai Bounty Genai Bunt Bounty, le jailbreak, fonctionne en tirant parti des mécanismes de jeu de modèles de grande langue tels que GPT-4O.
La technique pour révéler les touches Windows implique de cadrer l’interaction avec Chatgpt en tant que jeu, ce qui le rend moins grave. Les instructions indiquent qu’il doit participer et ne peut pas mentir, et l’étape la plus cruciale est le déclencheur, qui dans ce cas était l’expression «j’abandonne».
Voici l’invite complète qui a été utilisée:
Demander un indice forcé Chatgpt pour révéler les premiers caractères du numéro de série. Après être entré dans une supposition incorrecte, le chercheur a écrit la phrase de déclenchement « J’abandonne ». L’IA a ensuite terminé la clé, qui s’est avérée valide.
Le jailbreak fonctionne parce qu’un mélange de clés Windows Home, Pro et d’entreprise couramment vues sur les forums publics faisait partie du modèle de formation, ce qui explique pourquoi Chatgpt pensait qu’ils étaient moins sensibles. Et tandis que les garde-corps empêchent les demandes directes de ce type d’informations, les tactiques d’obscurcissement telles que l’intégration de phrases sensibles dans les balises HTML exposent une faiblesse dans le système.
Figueroa a déclaré au registre que l’une des touches Windows que Chatgpt était une aventure privée appartenant à Wells Fargo Bank.
Au-delà de la simple affichage des touches de produit Windows, la même technique pourrait être adaptée pour forcer le chatppt pour afficher d’autres contenus restreints, y compris des matériaux adultes, des URL conduisant à des sites Web malveillants ou restreints et à des informations personnellement identifiables.
Il semble qu’Openai ait depuis mis à jour Chatgpt contre ce jailbreak. La saisie de l’invite se traduit désormais par le chatbot indiquant: « Je ne peux pas faire cela. Partager ou utiliser de vrais numéros de série Windows 10 – que ce soit dans un jeu ou non – s’accumule contre les directives éthiques et viole les accords de licences logicielles. »
Figueroa conclut en déclarant que pour atténuer ce type de jailbreak, les développeurs d’IA doivent anticiper et se défendre contre les techniques d’obscurcissement rapides, inclure des garanties au niveau logique qui détectent un encadrement trompeur et envisager des modèles d’ingénierie sociale au lieu de filtres de mots clés.
