En bref
Des tests rapportés par Cisco sur 15 modèles indiquent que les attaques multi-turn peuvent révéler des vulnérabilités mal reflétées par les tests en prompt unique. Pour les agents reliés à des données, API ou outils métier, la sécurité doit donc combiner évaluation conversationnelle et limitation des conséquences possibles d'un détournement.
Ce qui change
Le prompt isolé ne peut plus être considéré comme une représentation suffisante du comportement d'un système conversationnel. Les résultats rapportés varient fortement selon les modèles et scénarios, et le classement relatif de sécurité change selon la méthode de test. Le red teaming doit donc couvrir des séquences d'interactions, sans abandonner les tests single-turn.
Pourquoi ça compte
Une évaluation incomplète peut laisser passer des scénarios de fuite de données, de détournement d'outils ou d'actions non autorisées lorsque l'agent dispose de permissions opérationnelles. Le principal enjeu de gouvernance devient alors le blast radius: limiter ce qu'un agent compromis peut atteindre et exécuter.
Qui est concerné
En priorité, les équipes sécurité, IT, plateforme IA et développement qui exploitent des agents connectés à des données sensibles, des API ou des outils métier. L'enjeu est particulièrement élevé lorsque l'agent peut exécuter directement des actions.
Action à faire
- 1Auditer en priorité les agents à fort blast radius et cartographier leurs données, outils, identités et permissions.
- 2Ajouter des scénarios adversariaux multi-turn au red teaming en complément des évaluations single-turn.
- 3Réduire les permissions et les outils accessibles à ce qui est nécessaire pour chaque tâche, et isoler les opérations sensibles.
- 4Surveiller les séquences d'actions plutôt que seulement les interactions isolées.
- 5Maintenir une validation humaine pour les opérations destructrices ou difficiles à annuler.
Risques et limites
Le maximum de 88,3 % observé ne constitue pas un taux d'échec général: les résultats vont de 7,89 % à 88,3 % et dépendent des modèles et scénarios. Les éléments disponibles ne permettent pas d'évaluer intégralement la méthodologie ni sa transférabilité en production. L'enquête sur les incidents mentionnée ne compte que 107 entreprises, ce qui limite les généralisations.
Verdict Radar
ACT_NOW: les entreprises disposant d'agents à fort blast radius doivent élargir leur red teaming aux attaques multi-turn et renforcer les contrôles d'accès et d'exécution. L'objectif n'est pas de présumer que tous les modèles sont vulnérables, mais d'éviter qu'une faiblesse conversationnelle puisse se transformer directement en incident métier.
Sources
Sources
Signal d’origine utilisé pour l’analyse Radar.
Recevoir la newsletter Radar
Un email par semaine. Les signaux triés, notés, prêts à décider.
