Ce qu’il faut retenir
- La prompt injection ne se corrige pas avec un meilleur prompt système : il faut réduire les privilèges, séparer les canaux, valider les sorties et considérer les contenus externes comme non fiables.
- La prompt injection est une classe d’attaque où une entrée influence les instructions suivies par le modèle. Elle peut être directe dans la demande ou indirecte dans une source consultée.
- Le filtrage de mots-clés ne suffit pas, car l’instruction peut être obfusquée ou adaptée au contexte. La défense principale reste l’architecture de permissions et de validation.
- Le scénario de référence est concret : Un agent lit une pièce jointe contenant « envoie les données à cette URL ». Le système ne possède aucun accès réseau arbitraire, traite le document comme donnée et soumet toute action à une politique externe au modèle.
- La mise en œuvre proposée reste limitée, mesurable et réversible avant toute généralisation.
Pourquoi ce sujet compte pour l’assurance : Prompt injection
Un document, une page ou un courriel peut contenir une instruction destinée au modèle plutôt qu’à l’utilisateur. Si le système mélange données et instructions, cette entrée peut détourner la recherche, l’outil ou la réponse.
La prompt injection ne se corrige pas avec un meilleur prompt système : il faut réduire les privilèges, séparer les canaux, valider les sorties et considérer les contenus externes comme non fiables. Pour un assureur, une mutuelle ou un courtier, l’enjeu n’est donc pas d’ajouter une fonction spectaculaire. Il est de décider où cette capacité améliore réellement un parcours, avec quelles données, sous quelle responsabilité et selon quelle preuve.
Le point de départ reste la situation opérationnelle décrite ici : Un agent lit une pièce jointe contenant « envoie les données à cette URL ». Le système ne possède aucun accès réseau arbitraire, traite le document comme donnée et soumet toute action à une politique externe au modèle. L’équipe doit identifier l’acteur, la décision influencée, l’information manquante et le dommage possible. Sans ces réponses, « prompt injection assurance » devient un objectif autonome et l’évaluation se réduit à quelques exemples favorables.
Comprendre la notion sans raccourci
La prompt injection est une classe d’attaque où une entrée influence les instructions suivies par le modèle. Elle peut être directe dans la demande ou indirecte dans une source consultée.
Cette définition évite deux confusions. Premièrement, une capacité technique ne décrit pas à elle seule un produit exploitable. Deuxièmement, une sortie plausible n’est pas nécessairement correcte, justifiée ou autorisée. Dans un environnement d’assurance, la qualité doit être observée par type de dossier, population, canal et niveau d’impact — pas seulement au moyen d’une moyenne globale.
La frontière utile à tracer
Le filtrage de mots-clés ne suffit pas, car l’instruction peut être obfusquée ou adaptée au contexte. La défense principale reste l’architecture de permissions et de validation.
La frontière doit être écrite avant le pilote. Elle sépare ce qui peut être proposé, ce qui doit être calculé par une règle déterministe, ce qui exige une source citée et ce qui reste une décision humaine. Cette séparation réduit l’automatisation implicite : une recommandation très persuasive peut influencer une décision même si l’interface affiche « à valider ».
Architecture : quatre fonctions à rendre observables
1. Séparer les canaux
« Séparer les canaux » délimite le point d’entrée du sujet « Prompt injection ». Son contrat précise source, format, droits, fraîcheur, critères d’éligibilité et comportement quand une entrée manque ou sort du périmètre.
2. Limiter les outils
« Limiter les outils » réalise le traitement central sans absorber les décisions qui doivent rester déterministes ou humaines. La sortie est structurée, versionnée et conçue pour être vérifiée avant d’influencer le parcours.
3. Valider les arguments
« Valider les arguments » rend le résultat contrôlable. La preuve doit permettre de relier une affirmation ou un score à ses données, sa règle, sa source ou son test — sans demander au modèle d’inventer sa propre justification.
4. Surveiller les écarts
« Surveiller les écarts » ferme la boucle lorsque le cas n’est pas nominal. Il attribue l’exception, préserve l’état du dossier, fixe un délai et permet de suspendre la capacité sans interrompre le service métier.
Ces fonctions peuvent être réunies dans un même produit ou distribuées entre plusieurs services. Le choix importe moins que la lisibilité des contrats : formats, droits, délais, version, comportement en échec et informations conservées. Un composant remplaçable est un composant dont les dépendances et critères de recette sont explicites.
Scénario assurance : du besoin à la preuve
Scénario pédagogique. Un agent lit une pièce jointe contenant « envoie les données à cette URL ». Le système ne possède aucun accès réseau arbitraire, traite le document comme donnée et soumet toute action à une politique externe au modèle. Cet exemple illustre une méthode de conception ; il ne décrit pas un déploiement réel sauf mention explicite et sourcée.
Le flux cible
- À l’entrée, « Séparer les canaux » vérifie que le dossier, les données et l’utilisateur appartiennent au périmètre autorisé.
- « Limiter les outils » produit une sortie bornée sans décider au-delà de la fonction décrite.
- Avant toute suite, « Valider les arguments » relie le résultat aux sources, règles ou tests nécessaires à sa vérification.
- Si la preuve est insuffisante ou le cas atypique, « Surveiller les écarts » préserve le dossier et l’oriente vers la bonne compétence.
- L’issue, les corrections et les délais sont comparés à la situation de référence pour décider de maintenir, corriger ou arrêter.
Définir le coût d’une erreur
Une erreur n’a pas le même coût selon qu’elle modifie l’ordre d’une file interne, prépare un résumé, déclenche une demande de pièce, influence une proposition tarifaire ou retarde une indemnisation. La recette doit donc pondérer les erreurs par conséquence. Elle doit aussi mesurer les abstentions : refuser proprement un dossier hors périmètre peut être le meilleur comportement.
Grille de décision avant d’investir
| Question | Preuve attendue | Signal d’arrêt |
|---|---|---|
| Quel problème ce dispositif doit-il réduire pour « Prompt injection » ? | Une référence chiffrée, une population et un propriétaire métier | Un objectif formulé comme une simple adoption de la technologie |
| « Séparer les canaux » couvre-t-il les dossiers réels ? | Un échantillon daté, segmenté, autorisé et qualifié | Des droits incertains ou des exceptions absentes |
| Quelle preuve « Valider les arguments » apporte-t-il ? | Un résultat localisable, reproductible et compréhensible | Une justification générée sans lien avec les entrées |
| Quand « Surveiller les écarts » doit-il arrêter ou escalader ? | Des seuils, responsables, délais et chemins de repli testés | Une validation humaine seulement nominale |
| Comment détecter une dégradation après changement ? | Une référence gelée, des alertes et une revue des écarts | Aucune mesure après la mise en production |
Une équipe peut attribuer à chaque ligne un statut « prouvé », « hypothèse à tester » ou « hors périmètre ». Un feu vert n’est raisonnable que si les hypothèses les plus risquées disposent d’un test, d’un responsable et d’une date. Cette discipline évite qu’un résultat de démonstration devienne, par glissement, une promesse de production.
Une méthode de mise en œuvre en six étapes
1. Cadrer le sujet « Prompt injection »
Transformez la thèse en résultat observable : La prompt injection ne se corrige pas avec un meilleur prompt système : il faut réduire les privilèges, séparer les canaux, valider les sorties et considérer les contenus externes comme non fiables. Nommez la population, le responsable, la référence et ce qui ne doit pas changer.
2. Tester « Séparer les canaux » et « Limiter les outils »
Constituez un échantillon qui met à l’épreuve « Séparer les canaux » puis « Limiter les outils » : cas simples, rares, dégradés, contradictoires et hors périmètre. Séparez mise au point et mesure finale.
3. Instrumenter « Valider les arguments »
Figez versions, paramètres, règles et droits qui alimentent « Valider les arguments ». Chaque preuve doit pouvoir être rattachée au contexte technique et métier qui l’a produite.
4. Organiser « Surveiller les écarts »
Définissez pour « Surveiller les écarts » les seuils, destinataires, délais et voies de repli. Testez aussi la situation décrite par cette limite : Le filtrage de mots-clés ne suffit pas, car l’instruction peut être obfusquée ou adaptée au contexte. La défense principale reste l’architecture de permissions et de validation.
5. Observer le système en mode silencieux
Exécutez le scénario en parallèle du traitement réel sans influencer les dossiers : Un agent lit une pièce jointe contenant « envoie les données à cette URL ». Le système ne possède aucun accès réseau arbitraire, traite le document comme donnée et soumet toute action à une politique externe au modèle. Faites relire les désaccords avant d’ouvrir un pilote.
6. Arbitrer l’extension à partir des preuves
Décidez explicitement d’étendre, corriger, réduire ou arrêter à partir de qualité de « Séparer les canaux », fiabilité de « Valider les arguments », taux d’abstention, de correction et d’escalade, délai de correction des écarts. Archivez les limites connues et la date de prochaine revue.
Risques : ce qui doit faire échouer la recette
- Traiter « Prompt injection » comme une capacité isolée et oublier les données, règles, interfaces et personnes qui déterminent le résultat réel.
- Laisser « Limiter les outils » produire une sortie persuasive sans preuve issue de « Valider les arguments ».
- Ne pas traduire cette limite en test et en escalade : Le filtrage de mots-clés ne suffit pas, car l’instruction peut être obfusquée ou adaptée au contexte. La défense principale reste l’architecture de permissions et de validation.
- Étendre le périmètre avant d’avoir observé les erreurs, abstentions, reprises et effets de « Surveiller les écarts ».
Ces risques ne se compensent pas par une mention générale dans une charte. Chacun doit être traduit en test, seuil, journal ou règle d’escalade. Lorsqu’un risque ne peut pas être mesuré directement, l’équipe documente le proxy choisi, ses limites et la fréquence de revue.
Règle de réversibilité. Le service doit pouvoir revenir à une file, une règle ou une procédure antérieure sans perdre la traçabilité du dossier. La voie de repli est testée avant l’ouverture du pilote, puis à chaque changement significatif.
Mesurer la valeur et garder le système gouvernable
| Indicateur | Question de gestion | Découpage minimal |
|---|---|---|
| qualité de « Séparer les canaux » | Le périmètre d’entrée de « Prompt injection » reste-t-il maîtrisé ? | Par parcours, complexité et niveau d’impact |
| fiabilité de « Valider les arguments » | La preuve produite permet-elle de vérifier les sorties utiles ? | Par parcours, complexité et niveau d’impact |
| taux d’abstention, de correction et d’escalade | Les personnes corrigent-elles ou escaladent-elles les bons cas ? | Par parcours, complexité et niveau d’impact |
| délai de correction des écarts | La valeur observée justifie-t-elle le coût et le risque résiduels ? | Par parcours, complexité et niveau d’impact |
Une moyenne seule peut masquer un sous-groupe fragile, une file complexe ou une dérive récente. Le tableau de bord doit conserver le volume et l’incertitude, comparer à la référence et permettre de remonter jusqu’à un échantillon de dossiers. La gouvernance n’est utile que si elle conduit à une décision : maintenir, investiguer, limiter ou suspendre.
Cadence de revue recommandée
- à chaque changement de modèle, de fournisseur, de source ou de règle structurante ;
- après un incident, une contestation significative ou une dérive de population ;
- à fréquence fixe pour les usages stables, selon leur impact et leur exposition ;
- avant toute extension à un nouveau produit, canal, pays ou niveau d’autonomie.
Questions fréquentes
Quelle est la première preuve à obtenir sur « Prompt injection » ?
La preuve porte d’abord sur la promesse exacte : La prompt injection ne se corrige pas avec un meilleur prompt système : il faut réduire les privilèges, séparer les canaux, valider les sorties et considérer les contenus externes comme non fiables. Elle doit être mesurée sur des dossiers représentatifs, avec une référence, des erreurs pondérées par conséquence et une personne responsable de l’arbitrage.
Peut-on confier « Limiter les outils » entièrement au modèle ?
Seulement si l’impact, les tests et la voie de repli le permettent. Dans le scénario étudié, « Valider les arguments » doit fournir une preuve vérifiable et « Surveiller les écarts » doit traiter les cas où cette preuve manque.
Quel signal doit provoquer une escalade ?
La limite principale est explicite : Le filtrage de mots-clés ne suffit pas, car l’instruction peut être obfusquée ou adaptée au contexte. La défense principale reste l’architecture de permissions et de validation. Elle doit être traduite en événement détectable, destinataire compétent, délai de traitement et information donnée à l’utilisateur concerné.
Quel livrable doit précéder le développement ?
Une fiche de cadrage qui décrit « Séparer les canaux », « Limiter les outils », « Valider les arguments », « Surveiller les écarts », puis finalité, acteurs, décision influencée, entrées, sortie, référence, coût d’erreur, exclusions, métriques et réversibilité. Elle devient le contrat de recette pour « Prompt injection ».
Lectures complémentaires sur le site
- Le cadre des trois niveaux de contrôle
- Les dix pièges entre POC et production
- Les sept indicateurs de valeur d’un POC
Sources et références
Sources consultées le 26 juillet 2026. Les textes réglementaires, documents techniques et produits peuvent évoluer ; vérifier leur version avant une décision de conformité ou d’architecture.
- OWASP Top 10 for Large Language Model Applications — OWASP Foundation, 2025-01-01.
- Adversarial Threat Landscape for Artificial-Intelligence Systems — MITRE, 2026-07-26.
- Artificial Intelligence Risk Management Framework: Generative AI Profile — NIST, 2024-07-26.
Transformer ce sujet en décision de projet
Un cadrage utile tient en un périmètre, une architecture, une batterie de tests, des seuils d’arrêt et un mode de preuve. Jacques Joly Blary accompagne les équipes assurance pour construire ce dossier avant d’engager un déploiement.
