Le Coût Caché de Penser avec l'IA

Tous les développeurs seniors que je connais ont vécu ce moment : vous consultez votre facture d'API IA et quelque chose cloche. Vous avez fait peut-être trois heures de travail sérieux. Le chiffre à l'écran suggère que vous avez fait tourner une petite ferme de serveurs.

Vous n'avez pas commis d'erreur. Vous ne saviez simplement pas comment fonctionne réellement la tarification.

L'observation externe

Le context caching des LLM — le mécanisme qui permet à des modèles comme Claude de réutiliser des représentations de tokens déjà calculées — a été conçu pour économiser de l'argent. Et il y parvient. Considérablement. Le Sonnet 4.6 d'Anthropic facture 3 $ par million de tokens en entrée au tarif de base, mais seulement 0,30 $ par million pour les lectures en cache. Une réduction de 10×.

Sur le papier, le calcul est convaincant. Une session avec 167 millions de tokens en cache coûte environ 50 $ en lectures au lieu d'environ 500 $ sans mise en cache. Vous économisez 450 $.

Ce que la page tarifaire ne vous dit pas : ces 50 $ représentent aussi 50 $ de plus que ce que vous auriez dû dépenser si vous aviez géré votre session différemment.

L'écart

Les outils que nous utilisons pour le travail assisté par IA n'ont pas été conçus pour le travail de la connaissance. Ils ont été conçus pour l'exécution de tâches.

Vous ouvrez une session, vous chargez le contexte, vous travaillez, vous fermez. Le modèle oublie tout. À la session suivante, vous rechargez tout — MEMORY.md, CLAUDE.md, chaque fichier lu la dernière fois, l'historique de la conversation. Chaque token revient dans le contexte. À chaque tour, le modèle relit tout depuis le cache.

Ce qui manque, ce n'est pas un meilleur modèle. C'est un système pour décider ce qu'il faut garder, ce qu'il faut écarter, et ce qu'il faut réellement apprendre du travail effectué. La plupart des sessions d'IA sont à la fois coûteuses et amnésiques.

Ce que j'ai construit

Aujourd'hui, j'ai construit un dépôt de recherche — une base de connaissances personnelle conçue pour se bonifier avec le temps. La structure est simple :

research/
├── topics/[slug]/
│   ├── summary.md      # findings with inline confidence markers
│   ├── sources.md      # all sources with access dates
│   ├── notes.md        # raw data, LLM deltas, contradictions
│   └── prompts.md      # single consolidated cross-LLM prompt
└── concepts/           # evergreen notes, reusable across topics

C'est la couche de gouvernance qui fait fonctionner l'ensemble. Chaque investigation reçoit un frontmatter YAML avec un statut de cycle de vie (seed, incubating, mature, needs-refresh, superseded), une note de confiance et une date review_by. Chaque constat reçoit un marqueur de confiance en ligne : [alta confiança], [média confiança], [especulativo]. Chaque investigation exige une section Contradições e Dissensão — non pas optionnelle, obligatoire.

Le prompt cross-LLM est une requête unique et consolidée que j'exécute sur 2 à 3 autres modèles après avoir terminé une investigation. Pas pour valider — pour trouver les angles morts. Aujourd'hui, en l'exécutant sur trois modèles différents, sont apparus : la structure tarifaire d'OpenAI (aucune prime d'écriture, mais un taux de succès de cache d'environ 50 %), une erreur dans mon raisonnement sur le seuil minimal de tokens de Gemini (données contradictoires : 1 000–4 000 tokens contre 32 000 tokens selon les sources — toujours non résolu), et un piège de coût que je n'avais pas envisagé.

La découverte inattendue

Le piège de coût des sessions à forte écriture : si vous marquez une pause de plus de 6 minutes entre deux prompts, le TTL de 5 minutes d'Anthropic sur les écritures en cache expire. Votre tour suivant paie la prime d'écriture (1,25× le prix de base) sans jamais bénéficier de la remise sur lecture (0,1× le prix de base). Dans une session ponctuée de pauses fréquentes, vous pouvez payer plus cher que dans une session de taille équivalente réalisée en continu.

Mais l'enseignement le plus profond ne concerne pas la mécanique tarifaire. Il concerne ce que représentent réellement 167 millions de tokens en cache.

Ce chiffre est le poids de chaque décision prise au cours d'une session : chaque fichier lu, chaque message envoyé, chaque résultat d'appel d'outil. La majeure partie est déjà du poids mort au tour 50. Le system prompt et le MEMORY.md sont rechargés à neuf à chaque tour. Le contenu de fichiers pertinent il y a 2 heures est toujours là, augmentant silencieusement le coût de chaque pensée suivante.

Le contexte n'est pas une archive. C'est une mémoire de travail. Videz-le avant qu'il ne vide votre pensée.

L'enseignement philosophique

Il existe en gestion des connaissances un principe appelé résumé progressif : on ne garde pas tout, on garde ce qui survit à des distillations répétées. Chaque passe élimine le bruit et amplifie le signal.

Les sessions d'IA échouent dans la direction opposée. Elles accumulent. Chaque tour ajoute des tokens ; rien n'est retiré. À la troisième heure, vous payez pour relire l'échafaudage de décisions qui auraient dû être digérées des heures plus tôt.

Le dépôt de recherche inverse cette logique. Il est conçu pour extraire le signal de chaque investigation et écarter le reste. Le summary.md est la version distillée. Le notes.md conserve la matière brute. Le dossier concepts/ conserve ce qui est réellement réutilisable entre les sujets. Le contexte de session est jetable ; le dépôt ne l'est pas.

La règle que j'applique désormais : des sessions ≤ 90 minutes pour les tâches ciblées, un /compact à 45 minutes, un /clear entre deux flux de travail distincts. Pas parce que c'est moins cher (même si c'est le cas), mais parce qu'un contexte propre produit un meilleur travail qu'un contexte encombré.

Gérez-vous activement le contexte dans vos sessions d'IA, ou le laissez-vous s'accumuler ? Et si vous le gérez — quel est votre système ?

Sources

1. Anthropic — Prompt Caching Documentation. https://platform.claude.com/docs/en/build-with-claude/prompt-caching. Accessed 2026-04-02.
2. Anthropic — Claude Pricing. https://platform.claude.com/docs/en/about-claude/pricing. Accessed 2026-04-02.
3. Sankalp — How Prompt Caching Works (vLLM / Paged Attention). https://sankalp.bearblog.dev/how-prompt-caching-works/. 2025.
4. Atlan — LLM Context Window Limitations in 2026. https://atlan.com/know/llm-context-window-limitations/. 2026.
5. 16x Engineer — LLM Context Management: How to Improve Performance and Lower Costs. https://eval.16x.engineer/blog/llm-context-management-guide. 2025–2026.