MODULE 62 / 72

Scénario : export d'un gros rapport

Le contexte : l'utilisateur clique 'Exporter toutes mes commandes 2024 en CSV'. Résultat attendu : 450 000 lignes. Problème : générer ça prend 90 secondes. Vous ne pouvez PAS attendre dans une requête HTTP synchrone.
Mauvaise approche — bloquer dans la requête : le backend calcule pendant 90s, puis renvoie le fichier. Résultat : (1) Timeout probable (load balancer coupe à 30-60s). (2) Utilisateur qui rafraîchit et relance un calcul identique. (3) Mémoire serveur saturée (450k lignes en RAM). (4) Si le serveur plante, tout est perdu. À proscrire totalement dès que ça dépasse 5-10s.
Bonne approche — job asynchrone + polling ou webhook : (1) Le frontend envoie `POST /exports { type: 'orders', year: 2024 }`. Backend crée un job en BDD (`status: pending`), pousse dans la queue, retourne `202 Accepted { job_id: 'abc' }`. (2) Un worker traite le job — génère le CSV en streaming ligne par ligne sur S3. (3) Frontend poll `GET /exports/abc` toutes les 2s : `{ status: 'running', progress: 0.37 }`. (4) Quand terminé : `{ status: 'ready', download_url: 'https://s3.../report.csv' }`. Utilisateur clique, télécharge depuis S3 via CDN.
Streaming en BDD : ne JAMAIS faire `SELECT * FROM orders` avec 450k lignes qui chargent en RAM. Utiliser des curseurs (`DECLARE CURSOR` en PostgreSQL, `SELECT ... WHERE id > last_id LIMIT 1000` en batching). On traite 1000 lignes à la fois, on écrit dans le fichier, on oublie, on passe aux 1000 suivantes. Mémoire constante peu importe la taille.
Format : CSV pour de la data tabulaire simple (Excel friendly). Parquet/Arrow pour de la grosse donnée analytique. PDF si c'est un rapport visuel (attention : génération PDF = 10× plus lent que CSV).
Notification à la fin : deux options. (a) Polling : le frontend demande toutes les 2s. Simple, fragile si l'utilisateur ferme l'onglet. (b) Email : 'Votre rapport est prêt, cliquez ici pour le télécharger'. Robuste, permet à l'utilisateur de partir faire autre chose. En pratique, souvent les deux.
Sécurité : l'URL S3 doit être signée avec expiration courte (1-24h). Le fichier contient des données personnelles — pas question qu'il reste accessible éternellement. Nettoyage automatique après 7 jours (lifecycle policy S3).
Idempotence : si l'utilisateur relance 3 fois le même export, ne pas générer 3 fichiers. Soit réutiliser un export récent identique, soit merger en un seul job.
⚡ ANALOGIE — LE TIRAGE PHOTO D'UN GROS ALBUM
Vous commandez un album de 450 photos. Sans le pattern asynchrone : vous attendez 90 min au comptoir pendant que le labo imprime. Avec : on vous donne un ticket, vous partez, vous êtes notifié par SMS quand c'est prêt, vous venez récupérer. Streaming = le laborantin imprime 10 photos, les sort, oublie, imprime les 10 suivantes — jamais 450 en mémoire simultanément. URL signée = le ticket a une date de validité, passé ce délai vous ne pouvez plus récupérer l'album.
📐 SCHÉMA
Demande
POST /exports {params}
Retour immédiat 202
BDD + queue
INSERT job + push
status: pending
Worker
Streaming SQL (cursor)
1000 lignes à la fois
Écriture S3
Append au fichier CSV
Memory constant
Polling / email
GET /exports/{id}
progress: 0.37
Prêt
status: ready + URL signée
Expiration 24h
Cleanup
Lifecycle S3 après 7j
Automatique
💬 QUESTION INTERACTIVE
1/5
"Un export tourne depuis 45 minutes, l'utilisateur pense que c'est bloqué et relance 4 fois. Que devrait faire votre système ?"
🎯 PIÈGE / QUESTION D'ENTRETIEN
Quelle est la différence entre un 'job' et un 'worker' dans une architecture asynchrone ?