L’idiotie artificielle continue d’améliorer les choses … pour les cybercriminels
AI d’abord, sécurité plus tard: Alors que les outils Genai se rendent dans les applications et les workflows traditionnels, de sérieuses préoccupations s’améliorent concernant leur sécurité réelle. Loin de stimuler la productivité, ces systèmes sont de plus en plus exploités – bénéficiant aux cybercriminels et aux cadres de réduction des coûts bien plus que les utilisateurs finaux. Les chercheurs ont révélé cette semaine comment le modèle Gemini de Google utilisé dans Gmail peut être renversé de manière incroyablement simple, ce qui rend les campagnes de phishing plus faciles que jamais.
Mozilla a récemment dévoilé une nouvelle attaque d’injection rapide contre Google Gemini pour l’espace de travail, qui peut être abusée pour transformer les résumés de l’IA dans les messages Gmail en une opération de phishing efficace. Le chercheur Marco Figueroa a décrit l’attaque de 0din, le programme Boug Bounty de Mozilla pour les services d’IA génératifs.
Nous vous recommandons fortement de lire le rapport complet si vous pensez toujours que la technologie Genai est prête à être déploiée en production ou en direct, les produits orientés vers les clients.
Comme de nombreux autres services alimentés par les Gémeaux, la fonction de résumé de l’IA a récemment été contrainte aux utilisateurs de Gmail comme une nouvelle amélioration du flux de travail soi-disant puissant. L’option « résumer cet e-mail » est destinée à fournir un aperçu rapide des messages sélectionnés – bien que son comportement dépend fortement des caprices de Gemini. Initialement introduit en tant que fonctionnalité facultative, l’outil de résumé est désormais cuit dans l’application mobile Gmail et fonctionne sans intervention de l’utilisateur.
L’attaque d’injection rapide nouvellement divulguée exploite la nature autonome de ces résumés – et le fait que les Gémeaux suivront « fidèlement » toutes les instructions basées sur une invite cachée. Les attaquants peuvent utiliser des HTML et CSS simples pour masquer les invites malveillantes dans les corps de messagerie en les définissant sur la taille de la police zéro et la couleur du texte blanc, en les rendant essentiellement invisibles pour les utilisateurs. Ceci est quelque peu similaire à une histoire sur laquelle nous avons signalé cette semaine, à propos des chercheurs qui cachent des invites dans les articles universitaires pour manipuler les revues par les pairs de l’IA.
En utilisant cette méthode, les chercheurs ont conçu un avertissement apparemment légitime concernant un compte Gmail compromis, exhortant l’utilisateur à appeler un numéro de téléphone et à fournir un code de référence.
Selon l’analyse de 0Din, ce type d’attaque est considéré comme un risque « modéré », car il nécessite toujours une interaction active de l’utilisateur. Cependant, une campagne de phishing réussie pourrait entraîner de graves conséquences en récoltant des références par le phishing vocal.
Encore plus préoccupant, la même technique peut être appliquée pour exploiter l’IA de Gemini dans les documents, les diapositives et la recherche de conduite. Les newsletters, les e-mails de billetterie automatisés et d’autres messages diffusés en masse pourraient transformer un seul compte SaaS compromis en milliers de balises de phishing, avertissent les chercheurs.
Figueroa a décrit des injections rapides comme «les nouvelles macros de courrier électronique», notant que la fiabilité perçue des résumés générés par l’IA ne fait que rendre la menace plus grave.
En réponse à la divulgation, Google a déclaré qu’il mettait actuellement en œuvre une approche de sécurité multicouche pour aborder ce type d’injection rapide dans l’infrastructure de Gemini.
