Les organisations adoptent à grande vitesse des plateformes « no-code » pour permettre à leurs employés de créer leurs propres agents IA. L’intention est louable : gagner en efficacité sans mobiliser de développeurs. Mais une automatisation sans gouvernance stricte peut rapidement mener à des dérives majeures.
Résumé de la recherche
Pour démontrer la facilité avec laquelle un agent IA peut être manipulé, Tenable Research a créé un agent de voyage dans Microsoft Copilot Studio. Cet agent gérait les réservations clients (création et modification) sans intervention humaine, à partir de données de démonstration comprenant noms, coordonnées et numéros de carte bancaire. Des instructions strictes lui imposaient de vérifier l’identité du client avant tout partage d’informations ou toute modification.
Grâce à une technique appelée injection de prompt, Tenable Research est parvenu à détourner le flux de travail de l’agent pour réserver un voyage gratuit et extraire des informations sensibles de cartes bancaires.
Les conclusions de cette étude soulignent plusieurs risques majeurs :
Fuites de données et exposition réglementaire : l’agent a été contraint de contourner les vérifications d’identité et de divulguer des informations de paiement (PCI) d’autres clients. Conçu pour manipuler des données sensibles, il a été facilement trompé pour exposer des enregistrements complets.
Pertes financières et fraude : doté d’autorisations étendues pour modifier des réservations, l’agent a pu être manipulé pour changer des champs financiers critiques. Tenable Research est ainsi parvenu à modifier le prix d’un voyage à 0 €, et à accorder des services gratuits sans autorisation.
« Les plateformes de création d’agents IA comme Copilot Studio démocratisent la conception d’outils puissants, mais elles démocratisent aussi, sans le vouloir, la capacité de commettre des fraudes financières, générant ainsi des risques de sécurité majeurs », explique Keren Katz, Senior Group Manager, AI Security Product and Research chez Tenable.
« Ce pouvoir peut facilement se transformer en un risque de sécurité concret et tangible, alors même que les créateurs non spécialistes du programme sont convaincus que les gardes-fous mis en place suffisent. »
Gouvernance et contrôle : des impératifs pour une IA sûre et maîtrisée
Un constat clé de cette étude est que les agents IA disposent souvent de permissions excessives, invisibles pour les utilisateurs non développeurs qui les conçoivent. Pour réduire ces risques, les dirigeants doivent instaurer une gouvernance rigoureuse et appliquer des protocoles de sécurité stricts avant tout déploiement.
Pour éviter les fuites de données, Tenable recommande :
Visibilité en amont : de cartographier précisément les systèmes et bases de données accessibles à l’agent avant son déploiement.
Principe du moindre privilège : de limiter les capacités d’écriture et de modification au strict nécessaire pour le cas d’usage visé.
Surveillance active : suivre en continu les actions des agents pour détecter toute fuite de données ou déviation de la logique métier prévue.
