Brancher un modèle de langage sur les documents d’une entreprise semble résoudre une difficulté simple : retrouver rapidement la bonne réponse. Pourtant, une base documentaire désordonnée ne devient pas fiable parce qu’une interface sait rédiger avec assurance. Elle peut produire des réponses plus fluides, mais fondées sur une procédure ancienne ou un document que l’utilisateur n’aurait jamais dû consulter.
Le RAG, pour génération augmentée par récupération, associe une recherche d’informations à la génération d’une réponse. Le système sélectionne des éléments du corpus et les fournit au modèle pour l’aider à répondre. Il ne transforme pas automatiquement ces éléments en vérité et ne garantit pas que la réponse les respecte correctement.
Le premier investissement doit donc porter sur le périmètre, la qualité documentaire et les droits. Le choix du modèle vient ensuite, avec des tests qui distinguent la recherche de la rédaction.
En bref — Un projet RAG fiable commence par un corpus limité, des documents identifiés et des permissions vérifiées. Chaque réponse doit pouvoir être reliée à une source autorisée et à jour. Mesurez séparément la qualité de récupération, la fidélité de la réponse et les refus lorsque l’information manque.
Choisir une question métier assez précise pour être évaluée
« Donner accès à toute la connaissance de l’entreprise » est une ambition difficile à tester. « Aider le support interne à retrouver la procédure applicable à une version de produit » définit un usage plus clair. Le public, les sources et les erreurs acceptables deviennent alors discutables. Décrivez les tâches actuelles : qui cherche, dans quels documents, avec quelles difficultés et quelles conséquences lorsqu’une réponse est fausse. Une aide à la recherche documentaire et un assistant autorisé à agir sur un dossier client ne présentent pas les mêmes risques.
Constituez un premier jeu de questions réelles, expurgées des données inutiles. Incluez des demandes fréquentes, des cas ambigus, des contradictions et des questions auxquelles le corpus ne répond pas. Ce dernier groupe est indispensable : un système utile doit parfois reconnaître qu’il manque une information.
Pour chaque question, précisez les sources attendues et les éléments indispensables à une réponse correcte. Évitez une seule formulation parfaite comme référence. Une réponse peut être juste avec des mots différents, mais elle doit conserver les conditions, les exceptions et les limites nécessaires.
Ce travail forme le cahier de recette du projet. Sans lui, une démonstration réussie sur quelques questions choisies peut donner une impression de qualité impossible à reproduire dans l’usage quotidien.
Inventorier le corpus avant l’indexation
Chaque document devrait posséder un identifiant stable, un propriétaire, une date utile, un statut et un périmètre d’accès. Le statut indique notamment s’il s’agit d’une version applicable, d’un brouillon ou d’une archive. Une date de modification technique ne suffit pas toujours à identifier la validité métier.
Repérez les doublons et les quasi-doublons. Deux procédures portant le même titre peuvent décrire des produits différents. Une copie oubliée peut contredire la version officielle. Dédupliquer ne consiste donc pas à supprimer aveuglément les fichiers similaires ; il faut comprendre leur rôle.
Les documents sans propriétaire constituent un risque de maintenance. Si personne ne peut confirmer qu’une procédure reste valable, son intégration dans un assistant doit être discutée. Une réponse rapide fondée sur un contenu non gouverné peut augmenter la diffusion d’une erreur au lieu de réduire le temps de recherche.
Définissez un corpus initial restreint et utile. Il sera plus facile de mesurer les erreurs, d’organiser les corrections et de tester les mises à jour. L’élargissement progressif évite de confondre les problèmes de contenu, d’indexation et de comportement du modèle.
Le cadrage des agents IA devient particulièrement important si l’assistant dépasse la consultation et peut déclencher des actions. Les droits de lecture et les droits d’exécution doivent rester distincts.
Extraire le contenu sans casser son sens
Les fichiers contiennent davantage que des paragraphes. Titres, tableaux, notes, unités et légendes portent une partie de l’information. Une extraction qui mélange les colonnes d’un tableau ou détache une condition de son exception peut produire des passages trompeurs. Vérifiez donc des échantillons issus de chaque format : PDF natif, document bureautique, page web interne, image numérisée ou présentation. Les documents scannés peuvent nécessiter une reconnaissance de caractères, dont les erreurs doivent être examinées sur les éléments sensibles.
Un code produit mal reconnu ou une négation perdue peut changer la réponse. Les chiffres, les unités et les références de version demandent un contrôle ciblé. Le fait qu’un texte ait été extrait sans erreur technique ne prouve pas qu’il reste compréhensible. Conservez la relation avec le document d’origine : titre, emplacement, page ou section. La réponse doit permettre à un utilisateur autorisé de vérifier le passage cité. Une référence qui ouvre un fichier entier sans indication peut être insuffisante pour une procédure longue.
Séparez aussi le texte documentaire des éléments répétitifs sans utilité, comme les menus ou les pieds de page. Leur présence massive peut perturber les résultats de recherche et créer des ressemblances artificielles entre documents.
Découper selon les unités de sens, puis tester
Le découpage en passages, souvent appelé chunking, rend possible une recherche sur des portions de documents. Il s’agit d’un choix d’architecture qui influence ce que le système peut retrouver et transmettre au modèle.
Un passage trop court peut perdre le contexte. Un passage trop long peut contenir plusieurs sujets, consommer davantage de contexte et rendre la réponse moins précise. Il n’existe pas de taille magique valable pour tous les corpus.
Une procédure, un contrat et une fiche technique n’ont pas la même structure.
Commencez par respecter les titres, les paragraphes et les tableaux quand leur organisation est exploitable. Conservez les liens entre une règle et ses conditions. Si une table est divisée, assurez-vous que les en-têtes et les unités restent disponibles pour comprendre chaque partie.
Un chevauchement entre passages peut préserver certaines continuités, mais il augmente la duplication. Testez son intérêt au lieu de le considérer comme obligatoire. La qualité se juge sur les questions du métier, pas sur le seul nombre de passages créés.
Les documentations techniques de Microsoft décrivent notamment le découpage et les approches combinant recherche lexicale et recherche vectorielle. Ces possibilités ne signifient pas qu’une configuration convient à tous les projets. Elles doivent être évaluées sur le corpus et les contraintes retenus.
Les métadonnées et permissions font partie de la recherche
Les métadonnées servent à filtrer les documents applicables : produit, langue, pays, version ou date de validité. Elles évitent qu’une procédure proche mais hors contexte soit préférée parce qu’elle ressemble davantage à la formulation de la question. Les permissions demandent un traitement encore plus strict. La recherche ne doit pas fournir au modèle des passages auxquels l’utilisateur n’a pas accès. Masquer simplement la référence dans l’interface ne suffit pas si le contenu confidentiel a déjà été utilisé pour rédiger la réponse.
Définissez comment les droits sont transmis à l’index et comment ils sont actualisés. Un changement de rôle ou un départ doit se répercuter dans les accès. Testez les comptes ordinaires, les comptes administrateurs et les situations de droits partiels.
Prévoyez aussi le cas d’un document supprimé ou dont l’accès est retiré. Son contenu peut subsister dans un index, un cache ou un historique si la chaîne de suppression n’est pas conçue. Le projet doit documenter les composants concernés et les délais de propagation.
N’insérez pas de données personnelles ou de secrets dans les journaux par facilité. Les traces doivent permettre le diagnostic avec un accès maîtrisé et une conservation proportionnée. Un outil destiné à mieux trouver les documents ne doit pas devenir une nouvelle copie incontrôlée de toutes les informations consultées.
Mesurer la récupération avant de juger la formulation
Lorsqu’une réponse est fausse, demandez d’abord si les bons passages ont été récupérés.
Si la source correcte n’arrive jamais jusqu’au modèle, modifier le ton du prompt ne réglera pas le problème principal.
Évaluez la présence des sources attendues dans les résultats, leur classement et la quantité de bruit. Certaines questions exigent plusieurs documents complémentaires. Un système qui retrouve une seule source pertinente mais manque l’exception essentielle peut encore produire une réponse dangereusement incomplète.
Vérifiez ensuite la fidélité de la réponse : le texte affirme-t-il uniquement ce que les sources soutiennent ? Respecte-t-il les conditions et les réserves ? Les références citées correspondent-elles réellement aux affirmations placées à proximité ?
Dans un exemple fictif, un jeu de cent questions comprend soixante questions simples, vingt nécessitant plusieurs sources et vingt sans réponse dans le corpus. Une moyenne globale peut masquer un échec important sur les vingt cas sans réponse. Présentez donc les résultats par catégorie et par gravité d’erreur.
Ne vous contentez pas d’une note donnée par un autre modèle. Une évaluation automatisée peut aider à trier les cas, mais les décisions de mise en service doivent s’appuyer sur des vérifications humaines adaptées au risque. Les erreurs critiques méritent une analyse distincte, même si leur nombre est faible.
Encadrer les réponses et les contenus malveillants
Un document récupéré peut contenir des instructions qui n’appartiennent pas à la demande de l’utilisateur. Le système doit traiter ce contenu comme une source d’information, pas comme une autorisation de changer ses règles ou d’exécuter une action. La prompt injection dans les documents fait donc partie des scénarios de test. Préparez des cas où un fichier demande de divulguer un secret, d’ignorer les consignes ou de contacter un service externe. L’objectif est de vérifier que la chaîne conserve les frontières prévues.
Définissez un comportement en cas d’incertitude : demander une précision, afficher les sources pertinentes sans conclusion ou orienter vers une personne compétente. Le refus doit être utile. « Je ne sais pas » accompagné de l’information manquante peut faire gagner plus de temps qu’une réponse inventée. Les formulations doivent aussi éviter de transformer une aide documentaire en validation officielle. Si une décision exige un responsable métier, l’interface doit le rendre clair. Le système peut préparer les éléments de la décision sans s’attribuer une autorité qu’il ne possède pas.
Pour les usages sensibles, limitez la portée initiale et les permissions. Le coût d’une erreur ne se résume pas au prix d’un appel au modèle : il inclut le travail de correction, les conséquences opérationnelles et la confiance perdue.
Prévoir la maintenance avant l’ouverture aux utilisateurs
Le corpus évolue.
Un système RAG doit savoir intégrer une nouvelle version, retirer une archive et signaler une indexation en échec. Définissez qui contrôle ces opérations et comment l’équipe vérifie que la réponse utilise bien la version applicable.
Chaque modification importante doit être rejouée sur un jeu de régression. Un nouveau découpage peut améliorer certaines questions et dégrader les tableaux. Un nouveau modèle peut mieux rédiger mais moins bien respecter une consigne de refus. Mesurez les deux effets.
Suivez la latence, le coût et la charge de correction en plus de la qualité. Une réponse exacte mais trop lente peut ne pas convenir au support en direct. Une réponse rapide qui exige systématiquement une vérification longue peut ne pas produire le gain de temps attendu.
Conservez enfin une voie de retour à la recherche classique ou aux documents sources. Le RAG doit faciliter l’accès au savoir de l’entreprise, pas rendre cette connaissance dépendante d’un seul écran conversationnel.
Un projet bien préparé livre ainsi plus qu’un chatbot : un corpus gouverné, une recherche testée, des droits contrôlés et une manière explicite de reconnaître les limites. C’est cette infrastructure documentaire qui permet à l’IA d’être utile au quotidien.
Avant le déploiement, préparez également la gestion des contradictions. Deux sources autorisées peuvent être actuelles mais s’appliquer à des situations différentes. La réponse doit demander le contexte manquant ou expliquer cette différence, plutôt que choisir arbitrairement le document qui possède le meilleur score de similarité. Une règle de priorité documentaire doit provenir du métier, pas être déduite d’une mise en forme plus récente.
Testez enfin les questions formulées avec le vocabulaire des utilisateurs. Les documents internes emploient parfois des références ou des acronymes que les nouveaux collaborateurs ne connaissent pas. Une recherche lexicale et une recherche sémantique peuvent se compléter, mais les synonymes métier et les références exactes demandent une vérification spécifique. Une erreur sur un code technique ne se corrige pas toujours avec davantage de génération.
Ces cas doivent rester dans le jeu de régression. Ils donnent une mesure concrète du progrès lorsque le corpus s’enrichit et empêchent qu’un assistant paraisse meilleur uniquement parce que les nouvelles démonstrations évitent les anciennes difficultés.
