MODULE 35 / 72

RAG & Vector Databases : l'IA sur vos données privées

Le problème fondamental des LLMs : leur connaissance est figée à une date de cutoff et ils ne connaissent pas VOS données (documentation interne, emails, base clients, historique CRM). Vous pouvez mettre vos données dans le prompt, mais la context window est limitée et coûteuse. Solution : le RAG.
RAG (Retrieval Augmented Generation) : au lieu d'envoyer toute votre base de connaissance au LLM, vous récupérez uniquement les passages pertinents pour la question posée, et vous les injectez dans le prompt. Résultat : le LLM répond en se basant sur VOS données, sans avoir besoin de les connaître à l'avance.
Le concept clé : les embeddings — une représentation mathématique du sens d'un texte sous forme de vecteur (liste de ~1 500 nombres). Deux textes qui veulent dire la même chose auront des vecteurs proches dans l'espace. 'chien' et 'canin' sont proches. 'chien' et 'facture' sont loin. C'est ce qui permet de faire une recherche par sens et pas juste par mots-clés.
Les vector databases : des bases de données optimisées pour stocker et rechercher des embeddings. Pinecone, Weaviate, Qdrant, pgvector (extension PostgreSQL). Quand vous posez une question, elle est transformée en vecteur, et la BDD retourne les N passages dont le vecteur est le plus proche — les plus pertinents sémantiquement.
Le pipeline RAG complet : (1) Ingestion : découper les documents en chunks (500-1000 tokens), générer un embedding par chunk, stocker dans la vector DB. (2) Retrieval : à chaque question, générer l'embedding de la question, chercher les K chunks les plus proches, les récupérer. (3) Generation : injecter les chunks dans le prompt du LLM avec la question. Le LLM répond en se basant sur ces chunks.
Les limites à connaître : (1) La qualité du chunking est critique — des chunks trop petits perdent le contexte, trop grands noient le signal. (2) Le retrieval peut rater si la question est formulée différemment du document. (3) Le LLM peut halluciner même avec des sources, surtout si les chunks récupérés ne contiennent pas la vraie réponse. (4) La fraîcheur : si le document change, il faut re-ingérer le chunk concerné.
Quand RAG vs fine-tuning : RAG = pour des données qui changent souvent (docs, prix, fiches produits) ou des grands volumes. Fine-tuning = pour un style ou un comportement que vous voulez ancrer dans le modèle (ton de marque, format de réponse spécifique). Les deux peuvent se combiner. En pratique : commencez toujours par RAG — plus rapide à itérer, pas besoin d'expertise ML.
⚡ ANALOGIE — L'AVOCAT ET SA BIBLIOTHÈQUE
Un LLM sans RAG = un avocat qui ne peut répondre qu'avec ce qu'il a mémorisé à l'école — efficace sur les généralités, inutile sur votre dossier spécifique. RAG = l'avocat qui a accès à votre bibliothèque de jurisprudence et de contrats. Avant de répondre à votre question, il cherche les 5 documents les plus pertinents, les lit, et vous répond en les citant. L'embedding = l'index sémantique de la bibliothèque : il trouve 'rupture de contrat pour inexécution' même si vous avez demandé 'client qui ne paie pas'. Vector DB = le bibliothécaire ultra-rapide qui retrouve les bons rayons en millisecondes.
📐 SCHÉMA
INGESTION (une fois)
Documents source
PDF, Notion, CRM, emails
→
Chunking
Découpage en ~500 tokens
→
Embedding model
text → vecteur [0.2, -0.8, ...]
→
Vector DB
Pinecone, pgvector, Weaviate
RETRIEVAL + GENERATION (à chaque requête)
Question utilisateur
"Quelle est la politique de remboursement ?"
→
Embedding de la question
Même modèle qu'à l'ingestion
→
Recherche sémantique
Top K chunks les plus proches
→
LLM + chunks injectés
Répond en citant vos docs
💬 QUESTION INTERACTIVE
1/5
"Votre client veut un chatbot qui répond sur sa documentation interne de 500 pages. Par où commencez-vous ?"
🎯 PIÈGE / QUESTION D'ENTRETIEN
Quelle est la différence entre un embedding et un fine-tuning ?