Il Costo Nascosto di Pensare con l'IA

Ogni sviluppatore senior che conosco ha vissuto questo momento: controlli la fattura della tua API IA e qualcosa non torna. Hai fatto forse tre ore di lavoro serio. Il numero sullo schermo suggerisce che hai gestito una piccola server farm.

Non hai commesso un errore. Semplicemente non sapevi come funziona davvero il prezzo.

L'osservazione esterna

Il context caching degli LLM — il meccanismo che permette a modelli come Claude di riutilizzare rappresentazioni di token già calcolate — è stato progettato per risparmiare denaro. E ci riesce. In modo drastico. Sonnet 4.6 di Anthropic addebita $3 per milione di token in input alla tariffa base, ma solo $0,30 per milione per le letture dalla cache. Una riduzione di 10×.

I conti sembrano convincenti sulla carta. Una sessione con 167 milioni di token in cache costa circa $50 in letture invece di circa $500 senza caching. Risparmi $450.

Quello che la pagina dei prezzi non ti dice: quei $50 sono anche $50 in più di quanto avresti dovuto spendere se avessi gestito la sessione in modo diverso.

Il divario

Gli strumenti che usiamo per il lavoro assistito dall'IA non sono stati progettati per il knowledge work. Sono stati progettati per il completamento di attività.

Apri una sessione, carichi il contesto, lavori un po', chiudi. Il modello dimentica tutto. Alla sessione successiva, ricarichi tutto da capo — MEMORY.md, CLAUDE.md, ogni file letto l'ultima volta, la cronologia della conversazione. Ogni token rientra nel contesto. A ogni turno, il modello rilegge tutto dalla cache.

Quello che manca non è un modello migliore. È un sistema per decidere cosa mantenere, cosa scartare e cosa imparare davvero dal lavoro svolto. La maggior parte delle sessioni IA sono al contempo costose e amnesiche.

Cosa ho costruito

Oggi ho costruito un repository di ricerca — una base di conoscenza personale progettata per accrescersi nel tempo. La struttura è semplice:

research/
├── topics/[slug]/
│   ├── summary.md      # findings with inline confidence markers
│   ├── sources.md      # all sources with access dates
│   ├── notes.md        # raw data, LLM deltas, contradictions
│   └── prompts.md      # single consolidated cross-LLM prompt
└── concepts/           # evergreen notes, reusable across topics

Lo strato di governance è ciò che lo fa funzionare. Ogni indagine riceve un frontmatter YAML con uno stato di ciclo di vita (seed, incubating, mature, needs-refresh, superseded), una valutazione di confidenza e una data review_by. Ogni risultato riceve un indicatore di confidenza inline: [alta confiança], [média confiança], [especulativo]. Ogni indagine richiede una sezione Contradições e Dissensão — non opzionale, obbligatoria.

Il prompt cross-LLM è un'unica query consolidata che eseguo su 2–3 altri modelli dopo aver completato un'indagine. Non per validare — per trovare i punti ciechi. Oggi, eseguendolo su tre modelli diversi, sono emersi: la struttura dei prezzi di OpenAI (nessun premio di scrittura, ma un tasso di cache hit di circa il 50%), un errore nel mio ragionamento sulla soglia minima di token di Gemini (dati contrastanti: 1K–4K token contro 32K token a seconda della fonte — ancora irrisolto), e una trappola di costo che non avevo considerato.

La scoperta inaspettata

La trappola di costo delle sessioni ad alta scrittura: se fai una pausa di più di 6 minuti tra un prompt e l'altro, il TTL di 5 minuti di Anthropic sulle scritture in cache scade. Il tuo turno successivo paga il premio di scrittura (1,25× il prezzo base) senza mai beneficiare dello sconto in lettura (0,1× il prezzo base). In una sessione con pause frequenti, puoi pagare di più rispetto a una sessione di dimensioni equivalenti svolta con continuità.

Ma la scoperta più profonda non riguarda la meccanica dei prezzi. Riguarda cosa rappresentano davvero 167 milioni di token in cache.

Quel numero è il peso di ogni decisione presa in una sessione: ogni file letto, ogni messaggio inviato, ogni risultato di chiamata a uno strumento. Gran parte è già peso morto entro il turno 50. Il system prompt e il MEMORY.md vengono ricaricati da zero a ogni turno. I contenuti di file rilevanti 2 ore prima sono ancora lì, aumentando silenziosamente il costo di ogni pensiero successivo.

Il contesto non è un archivio. È memoria di lavoro. Svuotalo prima che svuoti il tuo pensiero.

La conclusione filosofica

Nella gestione della conoscenza esiste un principio chiamato progressive summarization: non mantieni tutto, mantieni ciò che sopravvive a distillazioni ripetute. Ogni passaggio rimuove il rumore e amplifica il segnale.

Le sessioni IA falliscono nella direzione opposta. Accumulano. Ogni turno aggiunge token; nulla viene rimosso. Entro la terza ora, stai pagando per rileggere l'impalcatura di decisioni che avrebbero dovuto essere digerite ore prima.

Il repository di ricerca inverte questa logica. È progettato per estrarre segnale da ogni indagine e scartare il resto. Il summary.md è la versione distillata. Il notes.md conserva il materiale grezzo. La cartella concepts/ conserva ciò che è genuinamente riutilizzabile tra i vari argomenti. Il contesto della sessione è sacrificabile; il repository no.

La regola che sto applicando ora: sessioni ≤ 90 minuti per attività mirate, /compact a 45 minuti, /clear tra flussi di lavoro distinti. Non perché costi meno (anche se è così), ma perché un contesto pulito produce un lavoro migliore di uno affollato.

Gestisci attivamente il contesto nelle tue sessioni IA, o lo lasci accumulare? E se lo gestisci — qual è il tuo sistema?

Fonti

1. Anthropic — Prompt Caching Documentation. https://platform.claude.com/docs/en/build-with-claude/prompt-caching. Accessed 2026-04-02.
2. Anthropic — Claude Pricing. https://platform.claude.com/docs/en/about-claude/pricing. Accessed 2026-04-02.
3. Sankalp — How Prompt Caching Works (vLLM / Paged Attention). https://sankalp.bearblog.dev/how-prompt-caching-works/. 2025.
4. Atlan — LLM Context Window Limitations in 2026. https://atlan.com/know/llm-context-window-limitations/. 2026.
5. 16x Engineer — LLM Context Management: How to Improve Performance and Lower Costs. https://eval.16x.engineer/blog/llm-context-management-guide. 2025–2026.