MODULE 63 / 72
🚨
Scénario méta : un bug en production à 3h du matin
Le scénario qui connecte tout le cours — comment une équipe mature gère un incident réel. Chaque étape fait appel à une brique vue précédemment.
3h07 — Détection : PagerDuty sonne. L'alerte vient de Prometheus : 'taux d'erreur > 5% sur /api/checkout depuis 3 minutes'. L'astreinte se connecte. Jamais d'alerte manuelle d'utilisateur pour un vrai problème — si l'utilisateur le signale avant vos alertes, votre observabilité (module 25) est cassée.
3h10 — Évaluation : on regarde le dashboard Grafana. Latence p99 explose de 200ms à 8s. Taux d'erreur checkout à 12%. Les autres endpoints sont OK. Hypothèse préliminaire : problème localisé sur le checkout.
3h14 — Investigation dans les logs : on filtre les logs ERROR des 15 dernières minutes sur le service checkout. Beaucoup de 'Database connection timeout'. On regarde Datadog sur la BDD : CPU à 98%, connexions actives à 100% du pool.
3h18 — Hypothèse affinée : une requête SQL lente bloque le pool de connexions. On regarde les slow queries logs PostgreSQL. Une requête de statistiques `SELECT COUNT(*) FROM orders WHERE ...` sans index sur la nouvelle colonne, déployée à 2h55. Plan d'exécution : sequential scan sur 40M de lignes.
3h22 — Mitigation immédiate : on a deux options. (a) Rollback du déploiement de 2h55 (2 min avec le pipeline CI/CD — module 29). (b) Ajouter l'index manuellement en prod. On choisit (a) : plus rapide, moins risqué. `git revert` + push + déploiement auto. Les utilisateurs impactés au global : ~3% sur 30 min.
3h25 — Vérification : métriques redescendent, taux d'erreur revient à 0.2%. Alerte auto-close. On reste connecté 15 min pour valider la stabilité.
3h45 — On retourne se coucher : avec un message Slack pour l'équipe : 'Incident /api/checkout entre 3h05 et 3h25. Rolled back le déploiement XYZ. Post-mortem demain 14h.'
Le lendemain — Post-mortem (blameless) : réunion de 1h pour analyser. Pas pour trouver un coupable — pour trouver les trous dans le process qui ont permis à ce bug d'atteindre la prod. Actions concrètes : ajouter un test de performance sur les queries nouvelles dans la CI, revoir le process de review pour les migrations BDD, améliorer l'alerte pour détecter les slow queries plus vite.
⚡ ANALOGIE — L'INTERVENTION DES POMPIERS
L'alarme se déclenche automatiquement (observabilité) — personne n'appelle. Les pompiers arrivent avec des outils précis, pas un couteau suisse : détecteur de fumée (logs), caméra thermique (dashboards), plan du bâtiment (stack trace). Ils ne cherchent pas le coupable à 3h du matin — ils éteignent le feu (mitigation). L'enquête (post-mortem) a lieu le lendemain, à tête reposée, sans chercher qui a laissé son fer à repasser — mais pourquoi il n'y avait pas de détecteur dans cette pièce.
📐 SCHÉMA
3h07
Alerte PagerDuty
🔧 Prometheus threshold
3h10
Check dashboards
🔧 Grafana — latence, erreurs
3h14
Investigation logs
🔧 Datadog, filtered ERROR
3h18
Hypothèse affinée
🔧 PostgreSQL slow queries
3h22
Rollback
🔧 CI/CD pipeline
3h25
Vérification
🔧 Métriques redescendent
J+1 14h
Post-mortem blameless
🔧 Actions concrètes listées
💬 QUESTION INTERACTIVE
1/5
"Vous êtes l'astreinte. L'alerte sonne, tout le monde dort. Quels sont vos réflexes dans les 30 premières secondes ?"
🎯 PIÈGE / QUESTION D'ENTRETIEN
Qu'est-ce qu'un post-mortem 'blameless' et pourquoi c'est crucial pour la santé d'une équipe ?