El Coste Oculto de Pensar con IA

Todos los desarrolladores senior que conozco han tenido este momento: revisas tu factura de la API de IA y algo no cuadra. Hiciste quizá tres horas de trabajo serio. La cifra en la pantalla sugiere que gestionaste una pequeña granja de servidores.

No cometiste ningún error. Simplemente no sabías cómo funciona realmente el precio.

La observación externa

El context caching de LLM — el mecanismo que permite a modelos como Claude reutilizar representaciones de tokens ya calculadas — fue diseñado para ahorrar dinero. Y lo consigue. Drásticamente. Sonnet 4.6 de Anthropic cobra $3 por millón de tokens de entrada a tarifa base, pero solo $0.30 por millón en lecturas de caché. Una reducción de 10×.

Las cuentas parecen convincentes sobre el papel. Una sesión con 167 millones de tokens en caché cuesta ~$50 en lecturas en lugar de ~$500 sin caching. Ahorras $450.

Lo que la página de precios no te dice: esos $50 son también $50 más de lo que necesitabas gastar si hubieras gestionado tu sesión de otra manera.

La brecha

Las herramientas que usamos para el trabajo asistido por IA no fueron diseñadas para el trabajo del conocimiento. Fueron diseñadas para completar tareas.

Abres una sesión, cargas contexto, haces algo de trabajo, cierras. El modelo lo olvida todo. En la siguiente sesión, vuelves a cargarlo todo — MEMORY.md, CLAUDE.md, cada archivo que leíste la última vez, el historial de la conversación. Cada token vuelve a entrar en el contexto. En cada turno, el modelo lo lee todo desde la caché.

Lo que falta no es un modelo mejor. Es un sistema para decidir qué mantener, qué descartar y qué aprender realmente del trabajo que has hecho. La mayoría de las sesiones de IA son caras y provocan amnesia al mismo tiempo.

Lo que construí

Hoy construí un repositorio de investigación — una base de conocimiento personal diseñada para acumular valor con el tiempo. La estructura es simple:

research/
├── topics/[slug]/
│   ├── summary.md      # findings with inline confidence markers
│   ├── sources.md      # all sources with access dates
│   ├── notes.md        # raw data, LLM deltas, contradictions
│   └── prompts.md      # single consolidated cross-LLM prompt
└── concepts/           # evergreen notes, reusable across topics

La capa de gobernanza es lo que hace que funcione. Cada investigación recibe un frontmatter YAML con un estado de ciclo de vida (seed, incubating, mature, needs-refresh, superseded), una calificación de confianza y una fecha review_by. Cada hallazgo recibe un marcador de confianza inline: [alta confiança], [média confiança], [especulativo]. Cada investigación requiere una sección de Contradições e Dissensão — no opcional, obligatoria.

El prompt cross-LLM es una única consulta consolidada que ejecuto en 2–3 modelos distintos después de completar una investigación. No para validar — para encontrar los puntos ciegos. Hoy, al ejecutarlo en tres modelos distintos, surgieron: la estructura de precios de OpenAI (sin prima de escritura, pero ~50% de tasa de aciertos de caché), un fallo en mi razonamiento sobre el umbral mínimo de tokens de Gemini (datos contradictorios: 1K–4K tokens frente a 32K tokens según la fuente — aún sin resolver), y una trampa de coste que no había considerado.

El hallazgo inesperado

La trampa de coste de las sesiones con mucha escritura: si haces una pausa de más de 6 minutos entre prompts, el TTL de 5 minutos de Anthropic para las escrituras en caché expira. Tu siguiente turno paga la prima de escritura (1.25× el precio base) sin beneficiarte nunca del descuento de lectura (0.1× el precio base). En una sesión con pausas frecuentes, puedes pagar más que en una sesión de tamaño equivalente con trabajo continuo.

Pero el hallazgo más profundo no trata sobre la mecánica de los precios. Trata sobre lo que realmente representan 167 millones de tokens en caché.

Esa cifra es el peso de cada decisión tomada en una sesión: cada archivo leído, cada mensaje enviado, cada resultado de llamada a herramienta. La mayor parte ya es peso muerto para el turno 50. El system prompt y el MEMORY.md se cargan de nuevo en cada turno. Contenidos de archivos que eran relevantes hace 2 horas siguen ahí, aumentando silenciosamente el coste de cada pensamiento posterior.

El contexto no es un archivo histórico. Es memoria de trabajo. Vacíalo antes de que te vacíe el pensamiento.

La conclusión filosófica

Existe un principio de gestión del conocimiento llamado resumen progresivo: no mantienes todo, mantienes lo que sobrevive a destilaciones repetidas. Cada pasada elimina ruido y amplifica señal.

Las sesiones de IA fallan en la dirección opuesta. Acumulan. Cada turno añade tokens; nada se elimina. Para la tercera hora, estás pagando por releer el andamiaje de decisiones que ya deberían haberse digerido horas antes.

El repositorio de investigación invierte esto. Está diseñado para extraer señal de cada investigación y descartar el resto. El summary.md es la versión destilada. El notes.md guarda el material en bruto. La carpeta concepts/ guarda lo que es genuinamente reutilizable entre temas. El contexto de la sesión es prescindible; el repositorio no lo es.

La regla que aplico ahora: sesiones ≤ 90 minutos para tareas focalizadas, /compact a los 45 minutos, /clear entre flujos de trabajo distintos. No porque sea más barato (aunque lo es), sino porque un contexto limpio produce mejor trabajo que uno saturado.

¿Gestionas activamente el contexto en tus sesiones de IA, o dejas que se acumule? Y si lo gestionas — ¿cuál es tu sistema?

Fuentes

1. Anthropic — Prompt Caching Documentation. https://platform.claude.com/docs/en/build-with-claude/prompt-caching. Accessed 2026-04-02.
2. Anthropic — Claude Pricing. https://platform.claude.com/docs/en/about-claude/pricing. Accessed 2026-04-02.
3. Sankalp — How Prompt Caching Works (vLLM / Paged Attention). https://sankalp.bearblog.dev/how-prompt-caching-works/. 2025.
4. Atlan — LLM Context Window Limitations in 2026. https://atlan.com/know/llm-context-window-limitations/. 2026.
5. 16x Engineer — LLM Context Management: How to Improve Performance and Lower Costs. https://eval.16x.engineer/blog/llm-context-management-guide. 2025–2026.