Reranking et citations : pourquoi la recherche initiale ne suffit pas dans un RAG assurance

Ce qu’il faut retenir

• La recherche initiale répond à une question de couverture : le bon passage figure-t-il parmi les candidats ? Le reranking répond à une autre question : ce passage remonte-t-il assez haut pour être utilisé ?
• Un reranker ne peut pas récupérer une clause absente de la liste initiale, réparer une mauvaise version de contrat ni accorder un droit d’accès manquant.
• Une citation visible n’est pas encore une preuve. Il faut vérifier qu’elle soutient l’affirmation, qu’elle couvre toute l’affirmation et qu’elle pointe vers la version effectivement applicable.
• La recette doit isoler quatre étages : candidats, classement, attribution des affirmations et réponse finale. Un score global masque l’origine des erreurs.
• Dans un RAG assurance, le meilleur résultat n’est pas toujours une réponse : lorsque les preuves autorisées sont insuffisantes ou contradictoires, l’abstention documentée est une sortie attendue.

Pourquoi la recherche initiale ne suffit pas

Un moteur de recherche de premier niveau doit parcourir rapidement un corpus large. Son rôle est de constituer une liste de candidats avec une couverture suffisante : conditions générales, conditions particulières, avenants, notices, procédures ou pièces du dossier susceptibles de répondre à la question. Pour limiter les omissions, cette liste contient nécessairement du bruit.

Le reranking intervient ensuite sur un ensemble plus petit. Il réévalue la relation entre la question et chaque passage, puis modifie leur ordre. Cette seconde lecture peut être plus coûteuse et plus précise parce qu’elle ne porte plus sur tout le corpus. Des familles comme l’interaction tardive étudiée dans ColBERTv2 illustrent ce compromis entre granularité du signal de pertinence, efficacité et empreinte de stockage.

Cette séparation explique la réponse au titre : la recherche initiale ne suffit pas lorsque les passages utiles sont bien présents mais trop bas, lorsque plusieurs versions presque identiques se concurrencent ou lorsque le modèle reçoit plus d’extraits qu’il ne peut raisonnablement attribuer. Elle reste pourtant irremplaçable, car aucun reranker ne peut classer un document qui n’a jamais été récupéré.

Trois étages, trois types d’erreur

1. Les candidats : couvrir sans prétendre avoir déjà répondu

Le premier étage combine éventuellement recherche lexicale, recherche dense, filtres de métadonnées et règles métier. Pour une question contractuelle, les filtres de produit, date d’effet, entité porteuse du risque, langue et droits d’accès peuvent compter davantage qu’un gain marginal de similarité sémantique. Un passage très proche lexicalement mais issu d’une notice obsolète reste un mauvais candidat.

La mesure centrale est la présence de la preuve attendue dans les k candidats. Il ne s’agit pas de choisir une valeur universelle de k, mais de tester le budget réellement compatible avec la latence, le coût et la qualité attendue. Si la preuve manque déjà ici, travailler le prompt ou les citations en aval ne résout pas l’erreur.

2. Le reranking : ordonner selon la question exacte

Le reranker reçoit la question et les candidats, puis attribue un nouveau score ou un nouvel ordre. Il peut mieux distinguer une clause qui définit une exclusion de celle qui la mentionne dans un exemple. En revanche, son score n’est ni une probabilité de garantie, ni une décision juridique, ni une mesure automatique de vérité. C’est un signal de classement appris ou calculé dans un contexte technique donné.

Deux vérifications sont indispensables. D’abord, comparer le nouvel ordre à une référence annotée pour la tâche assurance réelle, pas seulement à un benchmark généraliste. Ensuite, analyser les requêtes sur lesquelles le reranking dégrade le classement initial. Un gain moyen peut cacher une perte sur les avenants courts, les tableaux, les formulations négatives ou les documents très proches.

3. L’attribution : relier chaque affirmation à une preuve

Après sélection des passages, la génération peut encore assembler une phrase qui dépasse ce qu’ils soutiennent. Le travail ALCE sur la génération avec citations distingue notamment la correction de la réponse et la qualité des citations. Cette distinction est essentielle : une réponse peut être correcte sans être prouvée par les extraits affichés, ou citer un passage pertinent qui ne soutient qu’une partie de la phrase.

L’attribution doit donc se faire au niveau de l’affirmation. Pour chaque proposition vérifiable, le système conserve l’identifiant du passage, le document, la version, la page ou section et les droits nécessaires à sa consultation. Les affirmations sans soutien suffisant sont retirées, reformulées comme incertitude ou envoyées en revue ; elles ne reçoivent pas une citation décorative.

Scénario assurance : retrouver une exclusion applicable

Scénario pédagogique, et non retour d’expérience client. Un gestionnaire interroge un assistant interne : « La garantie couvre-t-elle ce dommage immatériel après livraison ? » Le dossier contient des conditions générales, deux avenants successifs, une fiche produit, une note de gestion et des échanges commerciaux. L’objectif de l’assistant n’est pas de trancher le droit applicable ; il doit retrouver les passages pertinents, exposer les éventuelles contradictions et préparer une lecture humaine vérifiable.

1. Filtrer avant de chercher. Le système limite le corpus aux documents accessibles au gestionnaire et aux versions pouvant concerner la période du dossier. La date d’effet reste une donnée explicite, pas une déduction silencieuse du modèle.
2. Récupérer largement. La recherche remonte les passages contenant les notions de dommage immatériel, livraison, exclusion, extension et avenant, y compris lorsque les formulations diffèrent.
3. Reranker la question complète. Les candidats sont reclassés selon la relation entre le dommage décrit, le moment de survenance et le statut du document. Une clause de définition peut ainsi remonter devant une simple occurrence du mot « exclusion ».
4. Composer un paquet de preuves. Le générateur ne reçoit que les extraits retenus avec leur provenance, ainsi qu’une instruction séparant citation, analyse et information manquante.
5. Attribuer phrase par phrase. La réponse différencie ce que dit chaque document, signale une contradiction éventuelle entre version initiale et avenant, et renvoie aux pages concernées.
6. S’abstenir si nécessaire. Si la date d’effet ou les conditions particulières manquent, la sortie attendue est une liste de pièces à vérifier et non une conclusion assurantielle.

Ce flux évite une confusion fréquente : améliorer l’ordre des passages n’autorise pas le système à décider quelle version régit le dossier. Le classement prépare la preuve ; la règle de version, les données du contrat et la validation du gestionnaire déterminent ce qui peut être conclu.

Mesurer sans mélanger les responsabilités

Une seule note de « qualité RAG » ne permet pas de savoir quoi corriger. Les travaux ARES distinguent pertinence du contexte, fidélité de la réponse et pertinence de la réponse. Plus récemment, RAGVUE propose une lecture diagnostique séparant notamment récupération, complétude, fidélité au niveau des affirmations et calibration du juge. Ces cadres de recherche ne remplacent pas un jeu de dossiers assurance annoté, mais ils confortent la nécessité de mesurer chaque étage.

Étage	Question de recette	Mesure possible	Action si échec
Candidats	La preuve de référence est-elle récupérée ?	Rappel à k, ventilé par produit, type de document et difficulté	Revoir découpage, index, recherche hybride, filtres ou formulation de requête
Reranking	Les preuves utiles passent-elles devant les distracteurs ?	Rang réciproque, nDCG ou succès dans le budget de passages transmis	Revoir modèle, données d’évaluation, taille des passages ou seuil de déclenchement
Attribution	Chaque affirmation est-elle soutenue et toutes les affirmations importantes sont-elles citées ?	Précision des citations, couverture des affirmations, contrôle humain d’implication	Segmenter les affirmations, contraindre la génération ou supprimer les phrases non soutenues
Réponse	La sortie répond-elle utilement sans dépasser les preuves ?	Exactitude métier, taux d’abstention justifiée, corrections humaines et gravité des erreurs	Réduire le périmètre, ajouter une règle, exiger une pièce ou renvoyer à un gestionnaire

Les évaluateurs automatiques peuvent accélérer l’analyse, mais ils doivent être calibrés sur un échantillon relu par des personnes compétentes. Un juge génératif peut lui aussi se tromper, surtout face à une négation, un tableau ou une clause dont l’effet dépend d’un autre document.

Construire un jeu de recette qui révèle les erreurs

Le jeu de recette ne doit pas être une collection de questions faciles choisies après la démonstration. Chaque ligne décrit la question, le périmètre documentaire, les passages de référence, les distracteurs plausibles, la version attendue, la réponse acceptable, les motifs d’abstention et la gravité d’une erreur.

Pour la paire recherche–reranking, cinq familles sont particulièrement utiles :

• vocabulaire différent : la question métier et la clause n’emploient pas les mêmes mots ;
• documents quasi identiques : plusieurs versions diffèrent sur une phrase ou une date ;
• preuve dispersée : la réponse exige une définition, une condition et une limite situées dans plusieurs passages ;
• négation ou exception : un distracteur ressemble à la réponse mais inverse son sens ;
• preuve absente : la bonne sortie consiste à demander une pièce ou à s’abstenir.

La comparaison minimale oppose le système sans reranker au système avec reranker, sur exactement les mêmes candidats et le même générateur. Si plusieurs éléments changent simultanément, une amélioration ne peut pas être attribuée au classement. Les résultats doivent être ventilés ; une moyenne agrégée ne dit pas si les dossiers complexes ont gagné ou perdu.

Concevoir les citations comme des objets de preuve

Une citation exploitable comporte plus qu’un numéro entre crochets. Elle doit rester stable malgré la réindexation et permettre au lecteur autorisé de retrouver le texte affiché. Le modèle de données peut conserver :

• l’identifiant immuable du document et celui de sa version ;
• la page, la section ou les bornes exactes du passage ;
• la date d’effet et, lorsqu’elle existe, la relation avec un avenant ;
• l’empreinte du contenu pour détecter une modification ;
• le droit d’accès vérifié au moment de la réponse ;
• les identifiants des affirmations que le passage est censé soutenir.

Deux contrôles deviennent alors possibles. Le contrôle de soutien vérifie que le passage implique réellement l’affirmation. Le contrôle de complétude recherche les affirmations importantes sans citation. Une phrase composite peut devoir être scindée : un extrait soutient la définition, un autre la condition, aucun ne soutient nécessairement la conclusion complète.

La citation doit aussi respecter la confidentialité. Afficher un lien vers une pièce que l’utilisateur ne peut pas ouvrir crée une preuve illusoire ; ouvrir l’accès pour rendre la citation pratique crée un problème plus grave. La recherche, le reranking et le rendu de la citation appliquent donc la même politique d’autorisation.

Décider si le reranking mérite sa place

Ajouter un reranker n’est pas une décision de principe. C’est un arbitrage entre gain sur les requêtes difficiles, coût de calcul, latence, complexité d’exploitation et capacité à expliquer les changements de classement. Trois décisions sont possibles après recette :

• généraliser si le classement progresse sur les segments importants sans dégrader les cas sensibles ni dépasser le budget de service ;
• déclencher sélectivement si le gain se concentre sur les requêtes ambiguës, les faibles écarts de score ou les corpus très redondants ;
• renoncer provisoirement si la preuve manque dès la récupération, si les versions sont mal gouvernées ou si l’attribution reste le principal défaut.

Cette dernière décision est souvent la plus instructive : un reranker performant ne compense pas un corpus sans propriétaire, un découpage qui sépare titre et exception, ou des métadonnées de version incomplètes. L’investissement doit porter sur l’étage qui produit réellement l’erreur.

Surveiller le système en production

La production doit conserver suffisamment de traces pour reproduire une réponse sans enregistrer plus de données sensibles que nécessaire : version de l’index, identifiants des candidats, scores avant et après reranking, passages transmis, version du générateur, citations produites, abstention et correction humaine. Le profil NIST AI 600-1 replace ce type de mesure et de gestion des risques dans le cycle de vie complet du système génératif.

Une alerte utile vise une décision : baisse du rappel sur un produit, hausse des citations non soutenues, nouvelle version documentaire mal indexée, latence excessive ou augmentation des corrections graves. Le responsable doit pouvoir limiter le périmètre, revenir au classement initial ou suspendre la génération tout en conservant une recherche documentaire utilisable.

Pour éprouver la chaîne plus largement, le guide des huit tests d’un RAG en assurance complète cette recette. La question du volume de preuves transmis au modèle est traitée séparément dans l’analyse de la fenêtre de contexte d’un dossier assurance. Enfin, la grille acheter ou construire aide à intégrer ces exigences dans le choix d’architecture et de fournisseur.

Sources et références

Sources primaires consultées le 12 août 2026. Les résultats de recherche cités décrivent leurs protocoles et ne constituent pas une garantie de performance sur un corpus assurance.

• ColBERTv2: Effective and Efficient Retrieval via Lightweight Late Interaction — NAACL 2022.
• Enabling Large Language Models to Generate Text with Citations — EMNLP 2023.
• ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems — NAACL 2024.
• RAGVUE: A Diagnostic View for Explainable and Automated Evaluation of Retrieval-Augmented Generation — EACL 2026.
• Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — NIST AI 600-1, publié en 2024 et page mise à jour en 2026.