O Custo Escondido de Pensar com IA

Todos os programadores seniores que conheço já tiveram este momento: verificas a tua factura da API de IA e algo parece errado. Fizeste talvez três horas de trabalho a sério. O número no ecrã sugere que geriste uma pequena quinta de servidores.

Não cometeste um erro. Simplesmente não sabias como o preço realmente funciona.

A observação externa

O context caching de LLM — o mecanismo que permite a modelos como o Claude reutilizar representações de tokens já computadas — foi concebido para poupar dinheiro. E poupa. Drasticamente. O Sonnet 4.6 da Anthropic cobra $3 por milhão de tokens de input à taxa base, mas apenas $0.30 por milhão para leituras de cache. Uma redução de 10×.

A matemática parece convincente no papel. Uma sessão com 167 milhões de tokens em cache custa ~$50 em leituras em vez de ~$500 sem caching. Poupas $450.

O que a página de preços não te diz: esses $50 são também $50 a mais do que precisavas de gastar se tivesses gerido a tua sessão de forma diferente.

O fosso

As ferramentas que usamos para trabalho assistido por IA não foram concebidas para trabalho de conhecimento. Foram concebidas para conclusão de tarefas.

Abres uma sessão, carregas contexto, fazes algum trabalho, fechas. O modelo esquece tudo. Na sessão seguinte, carregas tudo outra vez — MEMORY.md, CLAUDE.md, cada ficheiro que leste da última vez, o histórico da conversa. Cada token volta a entrar no contexto. Em cada turno, o modelo lê tudo a partir da cache.

O que falta não é um modelo melhor. É um sistema para decidir o que manter, o que descartar, e o que realmente aprender do trabalho que fizeste. A maioria das sessões de IA é cara e provoca amnésia ao mesmo tempo.

O que construí

Hoje construí um repositório de investigação — uma base de conhecimento pessoal concebida para compor ao longo do tempo. A estrutura é simples:

research/
├── topics/[slug]/
│   ├── summary.md      # findings with inline confidence markers
│   ├── sources.md      # all sources with access dates
│   ├── notes.md        # raw data, LLM deltas, contradictions
│   └── prompts.md      # single consolidated cross-LLM prompt
└── concepts/           # evergreen notes, reusable across topics

A camada de governação é o que faz isto funcionar. Cada investigação recebe um frontmatter YAML com um estado de ciclo de vida (seed, incubating, mature, needs-refresh, superseded), uma classificação de confiança, e uma data review_by. Cada conclusão recebe um marcador de confiança inline: [alta confiança], [média confiança], [especulativo]. Cada investigação exige uma secção de Contradições e Dissensão — não opcional, obrigatória.

O prompt cross-LLM é uma única query consolidada que corro em 2–3 outros modelos depois de terminar uma investigação. Não para validar — para encontrar os pontos cegos. Hoje, ao correr esse prompt em três modelos diferentes, surgiram: a estrutura de preços da OpenAI (sem prémio de escrita, mas ~50% de taxa de acerto de cache), um erro no meu raciocínio sobre o limiar mínimo de tokens do Gemini (dados conflituantes: 1K–4K tokens vs. 32K tokens consoante a fonte — ainda por resolver), e uma armadilha de custo que não tinha considerado.

A descoberta inesperada

A armadilha de custo das sessões com muita escrita: se fizeres uma pausa de mais de 6 minutos entre prompts, o TTL de 5 minutos da Anthropic para escritas em cache expira. O teu próximo turno paga o prémio de escrita (1.25× o preço base) sem nunca beneficiar do desconto de leitura (0.1× o preço base). Numa sessão com pausas frequentes, podes pagar mais do que numa sessão de tamanho equivalente com trabalho contínuo.

Mas a descoberta mais profunda não é sobre a mecânica dos preços. É sobre o que 167 milhões de tokens em cache realmente representam.

Esse número é o peso de cada decisão tomada numa sessão: cada ficheiro lido, cada mensagem enviada, cada resultado de chamada de ferramenta. A maior parte já é peso morto pelo turno 50. O system prompt e o MEMORY.md são carregados de novo em cada turno. Conteúdos de ficheiros que eram relevantes há 2 horas continuam lá, aumentando silenciosamente o custo de cada pensamento seguinte.

O contexto não é um arquivo. É memória de trabalho. Limpa-o antes que ele te limpe o raciocínio.

A conclusão filosófica

Existe um princípio em gestão de conhecimento chamado sumarização progressiva: não mantens tudo, mantens o que sobrevive a destilações repetidas. Cada passagem remove ruído e amplifica sinal.

As sessões de IA falham na direcção oposta. Acumulam. Cada turno adiciona tokens; nada é removido. Pela terceira hora, estás a pagar para reler o andaime de decisões que já deviam ter sido digeridas horas antes.

O repositório de investigação inverte isto. Foi concebido para extrair sinal de cada investigação e descartar o resto. O summary.md é a versão destilada. O notes.md guarda o material em bruto. A pasta concepts/ guarda o que é genuinamente reutilizável entre tópicos. O contexto da sessão é descartável; o repositório não é.

A regra que estou agora a aplicar: sessões ≤ 90 minutos para tarefas focadas, /compact aos 45 minutos, /clear entre fluxos de trabalho distintos. Não porque seja mais barato (embora seja), mas porque um contexto limpo produz melhor trabalho do que um contexto sobrecarregado.

Geres activamente o contexto nas tuas sessões de IA, ou deixas que se acumule? E se o fazes — qual é o teu sistema?

Fontes

1. Anthropic — Prompt Caching Documentation. https://platform.claude.com/docs/en/build-with-claude/prompt-caching. Accessed 2026-04-02.
2. Anthropic — Claude Pricing. https://platform.claude.com/docs/en/about-claude/pricing. Accessed 2026-04-02.
3. Sankalp — How Prompt Caching Works (vLLM / Paged Attention). https://sankalp.bearblog.dev/how-prompt-caching-works/. 2025.
4. Atlan — LLM Context Window Limitations in 2026. https://atlan.com/know/llm-context-window-limitations/. 2026.
5. 16x Engineer — LLM Context Management: How to Improve Performance and Lower Costs. https://eval.16x.engineer/blog/llm-context-management-guide. 2025–2026.