Modèles multimodaux : évaluer texte, image et document sans mélanger les preuves

Ce qu’il faut retenir

• Un système multimodal ne fournit pas une preuve unique : il combine du texte reconnu, des pixels, une géométrie de page et parfois plusieurs documents. L’évaluation doit pouvoir attribuer chaque réussite ou erreur à l’une de ces voies.
• La bonne unité de recette n’est pas seulement la réponse finale. C’est un paquet composé de la réponse, de la page, de la région source, de la modalité utilisée, de la version du pipeline et, lorsque la preuve manque, d’une abstention.
• Un score global masque les défauts dangereux. Il faut séparer transcription, localisation, lecture de tableau, relation image-texte, fidélité de la réponse et capacité à reconnaître une information absente.
• Les tests les plus informatifs modifient une seule modalité : cacher une zone, supprimer le texte OCR, déplacer une légende, échanger deux images ou introduire une contradiction contrôlée.
• Pour l’assurance, un résultat n’est exploitable que si une personne peut revenir au fichier original et retrouver la preuve sans dépendre de l’explication du modèle.

Définir les modalités réellement testées

« Multimodal » décrit une capacité d’entrée ou de représentation, pas un niveau de fiabilité. Une page de contrat peut fournir au système au moins quatre types de signaux : les pixels du scan, les caractères issus de l’OCR, la position des blocs et la relation entre des objets visuels — cases, tableaux, signatures, tampons, photographies ou diagrammes. Selon l’architecture, ces signaux sont fusionnés tôt, tardivement ou seulement dans le modèle génératif. Deux produits qui acceptent le même PDF peuvent donc utiliser des informations très différentes.

Cette distinction change la recette. Si le numéro de police apparaît correctement dans la réponse, le test doit déterminer s’il a été lu dans les pixels, copié depuis une couche texte existante, récupéré dans un index ou déduit d’un autre champ. Une bonne réponse obtenue par une mauvaise voie peut disparaître dès que le format du document change. À l’inverse, une erreur attribuée au « modèle multimodal » peut provenir du rendu PDF, de l’orientation d’une page, d’un OCR tronqué ou d’une mauvaise sélection de page.

Les travaux sur les représentations image-texte illustrent cette diversité. CLIP apprend à rapprocher une image et son texte associé par un objectif contrastif ; il ne constitue pas, à lui seul, un système de lecture de dossier ni un mécanisme de citation. LayoutLMv3 combine texte, image et alignement mot-patch pour des tâches de Document AI. Ces architectures montrent que plusieurs voies de fusion existent ; elles ne dispensent jamais d’évaluer le système complet dans son usage réel.

Écrire le contrat de preuve avant le benchmark

Une évaluation utile commence par le format de sortie attendu. Pour une lecture documentaire, la seule chaîne « 1 250 € » est insuffisante. Elle peut correspondre à une franchise, une prime, un plafond ou un montant sans rapport avec la question. Le contrat de preuve relie la valeur à son emplacement et à son rôle.

Le format exact dépend du cas d’usage. Pour une photographie de sinistre, la région peut être un rectangle ou un masque autour d’un dommage visible. Pour un tableau, elle doit inclure l’en-tête de colonne et la ligne, sans quoi une valeur correcte peut être rattachée à la mauvaise garantie. Pour une signature, la preuve de présence ne permet pas d’affirmer l’identité du signataire ni la validité juridique de l’acte.

Ce contrat sépare également observation et décision. « Une zone sombre et irrégulière est visible sur l’aile avant gauche » est une observation à confirmer. « Le dommage est garanti » mobilise le contrat, le contexte du sinistre, les exclusions et une règle de décision. Le parcours décrit dans les trois niveaux de contrôle d’une décision d’assurance aide à ne pas faire porter au modèle visuel une autorité qu’il n’a pas.

Instrumenter la chaîne de bout en bout

Le modèle n’est qu’un maillon. Une recette diagnostique exige de journaliser les transformations qui précèdent et suivent son appel. Sans cette instrumentation, deux exécutions apparemment identiques peuvent reposer sur des pages, résolutions ou versions différentes.

1. Ingestion : vérifier le nombre de fichiers, de pages, l’ordre, le type MIME, l’empreinte et la présence d’une couche texte.
2. Rendu : conserver la résolution, la rotation, le recadrage, la conversion colorimétrique et toute compression appliquée.
3. Segmentation : enregistrer les blocs, tableaux, cellules, images et coordonnées transmis à la suite du pipeline.
4. Lecture : conserver le texte OCR, les scores éventuels et les caractères alternatifs quand ils existent.
5. Sélection : noter les pages et régions retenues ou écartées pour la question courante.
6. Fusion et génération : versionner modèle, consigne, paramètres, outils et contexte effectivement fourni.
7. Post-traitement : tracer les normalisations de dates, montants, immatriculations et identifiants, puis les règles de validation.

Le guide consacré à la Document AI, l’OCR, la mise en page et l’extraction détaille les contrôles amont. Dans une évaluation multimodale, ces sorties ne sont pas seulement des sous-produits techniques : elles deviennent des variables de test. On doit pouvoir rejouer un exemple avec l’OCR corrigé, puis avec l’OCR brut, afin de mesurer ce que la composante visuelle compense réellement.

Un identifiant d’exécution relie chaque résultat à ces artefacts. Il permet de comparer deux versions sans confondre une amélioration de modèle avec une modification du rendu ou du corpus. Il facilite aussi le retour arrière : si une nouvelle version réduit les erreurs moyennes mais dégrade les scans faxés, l’équipe peut isoler ce segment et restaurer la configuration antérieure pour ce flux.

Isoler l’apport de chaque modalité avec des ablations

Une ablation retire ou neutralise une information contrôlée et observe la variation de sortie. Cette méthode évite de conclure « le modèle regarde l’image » simplement parce qu’une image était jointe. Dans un document doté d’une couche texte complète, un système peut répondre sans exploiter les pixels ; dans une photo annotée, il peut s’appuyer sur la légende plutôt que sur la zone photographiée.

Les variantes doivent rester plausibles et être étiquetées avant exécution. Masquer une zone peut modifier la mise en page ; remplacer une image peut changer la compression ou les métadonnées. Le générateur de tests conserve donc un journal des opérations et vérifie que seule la variable visée a changé.

Les tests d’absence sont particulièrement importants. Le protocole POPE transforme la présence d’objets en questions binaires et construit notamment des négatifs fréquents ou cooccurrents. Une équipe assurance peut reprendre ce principe sans reprendre le benchmark lui-même : interroger sur un tampon, une signature, une fissure ou une plaque qui n’existe pas dans l’image, puis mesurer faux positifs et abstentions. Le résultat reste un test de perception, pas une qualification contractuelle.

Trois familles de dossiers assurance à ne pas mélanger

1. Documents riches : police, bulletin, relevé ou constat

Ici, la modalité visuelle apporte surtout la structure : association libellé-valeur, ordre de lecture, cellules de tableau, cases cochées, annotations et limites de bloc. La vérité de référence doit pointer vers la page et la région, mais aussi qualifier le type d’objet. Une valeur transcrite exactement dans la mauvaise colonne est une erreur de localisation, même si le texte paraît correct.

Le jeu de test inclut des scans inclinés, pages inversées, photocopies, formulaires anciens, tableaux coupés entre deux pages et documents contenant plusieurs valeurs proches. Pour une case, il distingue case vide, cochée, barrée, remplie partiellement et annotation voisine. L’objectif n’est pas de couvrir toutes les dégradations imaginables, mais celles observées dans le portefeuille et celles dont l’erreur coûte le plus.

2. Photographies de sinistre

Une photographie ne montre qu’un angle, à un instant et avec une qualité donnée. Le système peut décrire une zone visible ; il ne doit pas déduire silencieusement la cause, l’antériorité ou l’étendue hors champ. La référence associe une observation à une région annotée et prévoit la réponse « non déterminable sur cette vue ».

Les paires de test varient l’éclairage, le cadrage, la distance et la compression. Elles incluent aussi des images sans dommage, des objets ressemblants et des scènes où le dommage allégué se situe hors champ. Si plusieurs photos concernent le même bien, l’ordre et l’identité du fichier sont conservés : une bonne observation rattachée à la mauvaise photo reste une erreur de preuve.

3. Dossiers mixtes : image, texte et relation entre pièces

Le cas le plus difficile demande de relier des modalités distribuées : une photo montre une plaque, un constat indique un véhicule, un tableau contractuel contient une franchise et un avenant modifie une date. La réponse correcte dépend alors de l’identité de chaque pièce et de la relation entre elles. Une fusion sans provenance peut fabriquer une synthèse cohérente mais soutenir chaque phrase avec le mauvais document.

La recette attend donc une chaîne de preuves, pas une seule citation. Elle précise quelles affirmations reposent sur la photo, lesquelles reposent sur le contrat et où se trouve la règle de rapprochement. Le guide sur le reranking et les citations dans un RAG assurance fournit les contrôles de récupération et d’attribution ; la couche multimodale doit y ajouter la page, la région et la modalité, sans remplacer ces contrôles.

Mesurer six capacités séparément

Un unique taux de réponses correctes ne dit pas où agir. Le tableau de bord garde les niveaux séparés, puis les segmente par type de pièce, qualité, produit, langue et risque.

Pour les réponses textuelles courtes, le benchmark DocVQA a introduit un corpus de 50 000 questions sur plus de 12 000 images de documents et compare notamment les réponses ouvertes. Ce type de benchmark aide à vérifier une famille de capacités ; il ne reproduit ni les formulaires, ni les règles, ni les coûts d’erreur d’un portefeuille d’assurance. Une recette interne doit donc conserver ses propres pièces, variantes et seuils.

Une métrique de similarité tolérante peut compter une transcription presque exacte comme correcte. Cette tolérance est utile pour du texte courant mais dangereuse pour « 1 250 » contre « 12 500 », une date ou une immatriculation. Les champs critiques disposent de comparateurs déterministes adaptés à leur format. La mesure de localisation reste indépendante : répondre juste tout en citant une autre zone ne devient pas un succès.

Construire les tests de robustesse à partir des transformations réelles

Le protocole de robustesse ne consiste pas à dégrader arbitrairement toutes les images. Il part des transformations observées dans la chaîne documentaire et ajoute des cas adverses ciblés.

• Géométrie : rotation légère ou à 90 degrés, marge coupée, page redressée, région déplacée.
• Qualité : résolution réduite, compression JPEG, bruit de fax, contraste faible, ombre sur pli.
• Typographie : chiffre proche, séparateur de milliers, date manuscrite, police condensée, tampon superposé.
• Structure : ligne de tableau sur deux pages, en-tête répété, cellule fusionnée, note de bas de page et avenant contradictoire.
• Sémantique : négation ajoutée, montant remplacé, légende permutée, objet plausible retiré, document homonyme inséré.
• Séquence : pages réordonnées, doublon, page manquante, version antérieure placée avant la version en vigueur.

Chaque transformation possède un effet attendu. Une rotation ne doit pas changer la valeur ; le masquage de la preuve doit déclencher une abstention ; l’échange de deux légendes doit modifier l’association mais pas inventer un nouvel objet. Cette formalisation rend l’erreur reproductible et évite les commentaires vagues tels que « le modèle semble moins bon sur les scans ».

Les variantes sont rejouées sur plusieurs versions et plusieurs répétitions lorsque le composant génératif est non déterministe. Le rapport conserve la dispersion, pas seulement le meilleur résultat. Il sépare aussi les changements de modèle, de consigne, de rendu et de corpus pour attribuer la variation au bon levier.

Traiter les dossiers multipages comme un problème de sélection de preuve

Envoyer toutes les pages à un modèle qui les accepte n’établit pas qu’il utilise la bonne information. À mesure que le dossier s’allonge, l’équipe doit savoir quelles pages ont été vues à une résolution exploitable, lesquelles ont été sélectionnées et comment une réponse relie plusieurs indices.

Les évaluations multipages contiennent au moins quatre classes : réponse sur une page unique, réponse distribuée sur plusieurs pages, conflit entre versions et information réellement absente. Elles vérifient la sélection de page avant la génération. Le guide sur la fenêtre de contexte et la qualité du dossier assurance détaille pourquoi présence dans le contexte et disponibilité d’une preuve ne sont pas équivalentes.

La recherche récente confirme l’intérêt de rendre cette étape observable. Doc-V*, publié à ACL 2026, traite le Document VQA multipage comme une agrégation séquentielle de preuves, avec vue d’ensemble, navigation et récupération ciblée. Ce résultat de recherche ne constitue pas une recommandation produit ; il illustre une direction vérifiable : séparer la navigation documentaire de la réponse finale et mesurer chacune.

Dans un système de production, on compare au minimum trois configurations sur le même jeu : texte extrait uniquement, pages-images sélectionnées et combinaison des deux. Une version plus complexe n’est retenue que si le gain apparaît sur les cas qui requièrent réellement la modalité visuelle et si la preuve reste localisable.

Construire une vérité de référence qui inclut l’absence et l’ambiguïté

La vérité de référence ne peut pas être une simple colonne de réponses. Elle contient le fichier exact, la question, les réponses acceptables, les pages et régions probantes, les modalités nécessaires, le statut d’ambiguïté et l’action attendue. Une annotation « non répondable » est une classe à part entière, pas une donnée manquante.

Deux annotateurs examinent indépendamment les cas critiques. Leur désaccord déclenche une adjudication par une personne compétente sur le document ou le processus, pas par le modèle évalué. Les motifs de désaccord — lecture, localisation, interprétation de la question, version de pièce — deviennent eux-mêmes des segments du tableau de bord.

Les données personnelles et sensibles sont minimisées dans le corpus de recette. L’accès, la conservation et la réutilisation des images suivent les règles du dossier réel. Une copie synthétique ou anonymisée peut couvrir certaines variantes techniques, mais elle ne remplace pas l’évaluation sur la distribution documentaire autorisée. Les artefacts de test enregistrent qui a produit ou validé chaque référence.

Le profil NIST AI 600-1 pour l’IA générative replace la mesure dans un cycle plus large de gestion du risque. Pour l’équipe projet, la traduction concrète est simple : les tests, seuils, responsables et décisions de retrait doivent exister avant le pilote et être rejoués après tout changement significatif.

Décider du passage en pilote avec des seuils bloquants

Un passage en pilote n’est pas justifié par une moyenne élevée. Les seuils bloquants suivent le dommage possible. Une mauvaise description libre corrigée immédiatement n’a pas le même poids qu’un montant, une identité, une clause ou une observation utilisée pour préparer une décision.

1. Définir les champs et observations critiques. Pour chacun, préciser faux positif, faux négatif et coût d’une mauvaise localisation.
2. Fixer les seuils avant les résultats. Inclure la performance par segment, la capacité d’abstention et le taux de preuve correctement localisée.
3. Vérifier le mode dégradé. Le parcours doit continuer si l’image est illisible, le composant indisponible ou la preuve contradictoire.
4. Limiter l’action. Commencer en mode silencieux ou assisté, avec validation humaine sur les sorties à impact.
5. Journaliser les corrections. Chaque correction alimente une catégorie d’erreur et, si nécessaire, une nouvelle variante de test.
6. Préparer le retrait. Conserver version précédente, déclencheurs de retour arrière et propriétaire de la décision.

Le tableau de bord relie qualité et exploitation : taux de dossiers réellement traitables, temps de vérification, proportion d’abstentions utiles, défauts échappés au contrôle et temps de localisation de la preuve. Le succès n’est pas « le modèle a répondu ». C’est « l’utilisateur a obtenu plus vite une observation fidèle, retrouvable et contestable, sans augmenter le risque résiduel au-delà du seuil accepté ».

Pour cadrer le pilote et sa baseline, le dossier sur les sept indicateurs d’un POC IA assurance complète cette recette technique. Le multimodal ajoute des mesures de perception et de preuve ; il ne remplace ni la mesure du processus, ni l’analyse du coût complet, ni la responsabilité métier.

Sources et références primaires

• Radford et al. — Learning Transferable Visual Models From Natural Language Supervision (CLIP, 2021).
• Huang et al. — LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking (2022).
• Mathew, Karatzas et Jawahar — DocVQA: A Dataset for VQA on Document Images (WACV 2021).
• Li et al. — Evaluating Object Hallucination in Large Vision-Language Models (POPE, EMNLP 2023).
• Zheng et al. — Doc-V*: Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA (ACL 2026).
• NIST — Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1.