Intelligence artificielle

Un RAG utile se joue à 80 % sur les données et l’évaluation, pas sur le modèle. Concrètement : un pipeline d’ingestion versionné qui découpe les documents selon leur structure (titres, sections, tableaux) et conserve les métadonnées (source, date, droits d’accès) ; une recherche hybride (vecteurs et mots-clés) suivie d’un reclassement ; un jeu d’évaluation de 50 à 200 questions réelles avec réponses attendues, rejoué à chaque changement ; des réponses qui citent leurs sources et savent dire « je ne sais pas ». Les droits d’accès sont appliqués au moment de la recherche, jamais confiés au modèle.

Si le chemin de la tâche est connu à l’avance (extraire, classer, résumer, router), un workflow avec quelques appels au modèle est plus fiable, moins cher et testable. Un agent qui décide lui-même de ses étapes se justifie quand le chemin varie à chaque cas et que l’erreur est rattrapable (validation humaine, actions réversibles). Nous commençons presque toujours par le workflow et ajoutons de l’autonomie là où elle est mesurée utile.

Avec une évaluation qui ressemble à des tests logiciels : un jeu de cas représentatifs construit avec les métiers, des critères explicites (exactitude, fidélité aux sources, format, refus justifié), un score calculé automatiquement à chaque changement de prompt, de modèle ou de données, puis un échantillon relu par des humains. En production, les retours utilisateurs et les cas d’échec alimentent ce jeu en continu.

Oui, à plusieurs niveaux : modèles servis dans votre propre région cloud (Amazon Bedrock, Azure OpenAI, Vertex AI) sans entraînement sur vos données ; modèles ouverts (Mistral, Llama, Qwen) déployés dans votre infrastructure ; ou un filtrage des données sensibles avant l’appel. Le bon niveau dépend de la classification de vos données et du coût d’exploitation que vous acceptez. Nous l’écrivons noir sur blanc au cadrage.

Trois postes : les appels aux modèles (prévisibles une fois le volume connu, réductibles par le cache, un modèle plus petit sur les étapes simples et des prompts courts), l’infrastructure de recherche et d’ingestion, et surtout le temps humain d’évaluation et d’entretien des données. Un pilote mesure ces trois postes sur vos volumes réels avant tout engagement.

Rarement en premier. Un bon prompt, des exemples et un RAG couvrent la majorité des besoins. Le post-entraînement devient pertinent quand le format de sortie est très contraint, quand le volume justifie un modèle plus petit et moins cher, ou quand le domaine a un vocabulaire que les modèles généralistes maîtrisent mal. La décision se prend sur une évaluation, pas sur une intuition.