MODULE 34 / 72

Cycle de vie d'un appel LLM : tokens, coûts, streaming

Vous utilisez des LLMs (Claude, GPT, Gemini) comme des boîtes noires — vous envoyez du texte, vous recevez du texte. Pour travailler sérieusement avec eux (coûts, performance, limites), il faut comprendre ce qui se passe à l'intérieur d'un appel.
La tokenisation : un LLM ne lit pas des mots, il lit des *tokens* — des morceaux de mots. 'tokenisation' = ~3 tokens. 'hello' = 1 token. En anglais : 1 token ≈ 0,75 mot. En français : ~20-30% plus de tokens (le français est moins compressible). Règle pratique : 1 000 mots ≈ 1 300 tokens en anglais, ≈ 1 600–1 700 en français.
Fenêtres de contexte (ordres de grandeur 2026) : 128k à 1M tokens selon le modèle (Claude Sonnet, GPT-4.1, Gemini 2.5 Pro…). Au-delà, l'API refuse l'appel : c'est votre app qui doit tronquer ou résumer l'historique — d'où l'« oubli » perçu.
Les coûts : vous payez au token. Deux prix distincts : input tokens (ce que vous envoyez : prompt + contexte + documents) et output tokens (ce que le modèle génère). L'output est toujours plus cher que l'input (×3 à ×5 selon les modèles). Conséquence : un system prompt de 5 000 tokens payé à chaque appel coûte cher à grande échelle. Le cache de prompt (Anthropic, OpenAI) permet de ne payer qu'une fois les tokens répétitifs.
La latence et le streaming : générer une réponse de 500 tokens prend 3-8 secondes selon le modèle. Sans streaming : l'utilisateur attend en fixant un écran vide puis reçoit tout d'un coup. Avec streaming : les tokens arrivent un par un dès qu'ils sont générés (c'est ce que vous voyez sur Claude.ai). Techniquement : Server-Sent Events (SSE) — le serveur pousse chaque token dès que disponible.
Temperature et paramètres clés : temperature (0 à 1 chez Anthropic, 0 à 2 chez OpenAI) contrôle la créativité/déterminisme. 0 = réponses quasi stables (pas strictement identiques), déterministe (bon pour de l'extraction de données). 1 = très créatif, variable (bon pour la génération créative). max_tokens : limiter la longueur de l'output — économise des coûts et évite les réponses interminables. stop_sequences : arrêter la génération quand un token spécifique est rencontré.
Coûts : l'output coûte souvent 4 à 8× l'input. Exemple Claude Sonnet ~3 $/M input et ~15 $/M output. Un trafic type « 1M tokens input + 250k output / jour » sur un modèle léger (Haiku / GPT-4o-mini) : comptez plutôt 10 à 45 $/jour selon la version, pas un forfait magique.
⚡ ANALOGIE — LE TAXI AVEC COMPTEUR
Le LLM est un taxi dont le compteur tourne à la fois sur le trajet d'entrée (tout ce que vous lui dites) et de sortie (tout ce qu'il vous répond). Le compteur de sortie est plus cher. La context window = la taille du taxi : il ne peut emmener qu'un certain nombre de passagers (tokens) à la fois. Le streaming = regarder le taxi avancer en temps réel plutôt qu'attendre qu'il soit arrivé pour savoir où il est. La temperature = le style de conduite : 0 = GPS strict, itinéraire optimal. 1 = conducteur créatif qui improvise les routes.
📐 SCHÉMA
System prompt
Instructions fixes — payées à chaque appel (ou cachées)
Context / historique
Conversation précédente — grossit à chaque tour
User message
La nouvelle requête utilisateur
Tokenisation
Découpage en tokens → comptage
Inférence GPU
Génération token par token
Streaming SSE
Tokens poussés dès disponibles
Facturation
input_tokens × prix_in + output_tokens × prix_out
💬 QUESTION INTERACTIVE
1/5
"Vous construisez un assistant IA pour un SaaS. Vos coûts LLM explosent à 8 000€/mois. Par où commencez-vous à investiguer ?"
🎯 PIÈGE / QUESTION D'ENTRETIEN
Qu'est-ce que le 'prompt caching' et pourquoi ça change tout pour les coûts en production ?