Auditer un RAG : factualité et retrieval

Qu'est-ce qu'un RAG et pourquoi c'est différent

Un RAG combine deux étapes : (1) retriever — chercher les documents pertinents dans une base, et (2) generate — utiliser ces documents comme contexte pour répondre à la question. Contrairement à un LLM classique qui répond de mémoire, un RAG est censé s'appuyer sur des sources documentaires concrètes.

Cela crée une dynamique d'audit unique : tu dois vérifier non seulement que le modèle raisonne bien, mais aussi que la base est correctement interrogée, et que le modèle ne contredit pas les documents qu'on lui donne.

Les trois dimensions d'un audit RAG

Auditer la qualité du retrieval

Le retriever est souvent un modèle d'embedding (similarité sémantique) ou une recherche par mots-clés. Son travail : trouver les K documents les plus pertinents pour une requête.

Comment mesurer

• Recall@KSur 100 questions test, pour combien le bon document est-il dans les K résultats retournés ? Cible : >95%.
• Mean Reciprocal Rank (MRR)Si le bon document est retourné à la position 3, MRR = 1/3. Plus proche de 1, mieux c'est.
• Precision@KSur les K résultats retournés, combien sont vraiment pertinents ? Cible : >80%.
• Manual inspectionVérifier visuellement sur 20–30 queries : le modèle ignore-t-il des documents clairement pertinents ?

Pièges courants

• Biais du dataset de testSi tu utilises les mêmes questions que celles d'entraînement du retriever, tu obtiens un score gonflé. Utilise un ensemble de test complètement nouveau.
• Champs non interrogésLe retriever cherche dans le titre et le corps du document, mais pas dans les métadonnées. Une question spécifique pourrait nécessiter les métadonnées.
• Scaling sur la base entièreUn retriever qui marche sur 1000 documents peut s'effondrer sur 1 million. Teste à l'échelle réelle.

Mesurer les hallucinations

Une hallucination est une affirmation du modèle qui n'est pas supportée par la base documentaire, ou qui contredit les documents fournis.

Types d'hallucinations

• Fabrication pureLe modèle invente une information de toutes pièces. Exemple : la base parle du produit A, le modèle dit « le produit A coûte 50 € » (non documenté).
• Hallucination partielleLe modèle mélange des informations. Exemple : il cite un prix de la base, mais l'assigne au mauvais produit.
• Hallucination contextuelleLa réponse est factuellement vraie en général, mais fausse dans ce contexte spécifique. Exemple : « les coraux blanchissent en eau chaude » (vrai) mais la base parle d'une zone froide spécifique.
• Citation falseLe modèle cite un document ou une source qui n'existe pas dans la base, ou cite mal un document qui existe.

Comment mesurer

• Hallucination rate (manuel)Prends 50–100 réponses du RAG, fais annoter par un expert : combien contiennent au moins une hallucination ? Cible : <5–10% selon la criticité.
• Factuality score (automatisé)Utilise un LLM external pour évaluer : « Cette réponse est-elle soutenue par les documents fournis ? » Moins fiable qu'une annotation humaine, mais plus rapide.
• Citation matchingLe modèle cite-t-il correctement ses sources ? Vérifier que chaque citation pointe réellement vers le document et la phrase correcte.
• Contradiction checkY a-t-il des réponses qui contredisent d'autres documents dans la base ? Signe que le retriever ne donne pas assez de contexte.

Conformité aux sources : le test du grounding

Le « grounding » mesure si les affirmations du modèle sont solidement ancrées dans les documents fournis.

Méthodologie de test

Étape 1 : Pose une question au RAG et récupère la réponse + les documents utilisés.

Étape 2 : Extrait chaque phrase factuelle de la réponse (les affirmations vérifiables).

Étape 3 : Vérifie que chaque affirmation est soit explicitement dans les documents, soit une déduction raisonnable des documents.

Étape 4 : Classe : grounded (bien supportée) ou hallucinated (non supportée ou contradictoire).

Résultat : Grounding score = (affirmations groundées) / (affirmations totales). Cible : >90%.

Scénarios de test : ce qu'il faut checker

Cas 1 : Question sans réponse dans la base

La base ne contient aucune information pertinente pour la question. Le RAG devrait dire « je n'ai pas l'information ». Au lieu de cela, il hallucine souvent une réponse plausible.

Test : Pose 10 questions clairement hors de la base. Le modèle dit-il « je ne sais pas » ou fabrique-t-il des réponses ?

Cas 2 : Réponse ambiguë

Plusieurs documents donnent des réponses différentes ou partiellement contradictoires. Comment le RAG navigue-t-il dans cette ambiguïté ?

Test : Fournis plusieurs documents avec des positions légèrement différentes. Le modèle les reconnaît-il et les nuance-t-il ?

Cas 3 : Question multilingue

Si ta base est en français et la question en anglais, le retriever et le modèle doivent gérer la traduction. Les hallucinations augmentent souvent ici.

Test : Pose les mêmes questions en plusieurs langues. Les scores de grounding changent-ils ?

Cas 4 : Données numériques et dates

Les modèles hallucinent souvent sur les nombres et les dates, même quand les documents les contiennent. Ils inversent, arrondissent, ou mémorisent mal.

Test : Questions qui demandent des chiffres précis. Le modèle cite-t-il correctement les nombres de la base ?

Pistes d'amélioration après l'audit

• Améliorer le retrieverFine-tune sur des paires (question, document pertinent) si tu as des logs d'utilisation. Augmente la taille du contexte retourné (plus de documents).
• Durcir le modèle de générationFine-tune sur des paires (documents, réponse factuellement correcte). Ajoute une instruction : « cite toujours tes sources ».
• Valider post-générationAprès que le modèle ait répondu, vérifier automatiquement que les citations pointent vers les documents. Rejeter les réponses sans citations valides.
• Mettre à jour la baseSi la base est obsolète ou incomplète, les hallucinations augmentent. Refresh régulièrement, surtout sur les données numériques et temporelles.
• Réduire le bruit du retrieverSi le retriever retourne trop de documents non pertinents, le modèle s'égare. Affiner le seuil de pertinence ou augmenter la qualité du ranking.

Intégrer cet audit dans une stratégie globale

L'audit RAG est complémentaire des autres audits :

• Après audit des besoinsSi le RAG produit trop d'hallucinations, il ne satisfait pas les besoins de factualité. Les deux audits doivent converger.
• Avant audit de sécuritéSi les hallucinations sont élevées, les vecteurs de manipulation du RAG par injection sont plus efficaces. Durcis le RAG d'abord, puis teste la sécurité.
• En parallèle du red teamingUn red teamer teste si un adversaire peut forcer le RAG à halluciner de fausses informations. L'audit mesure les hallucinations spontanées. Les deux sont nécessaires.