¿Por qué las facturas de IA crecen tan rápido?
Cuando trabajas con agentes de código, análisis de documentos legales o chatbots con memoria, el 90% de los tokens enviados en cada petición suelen ser contexto repetido: el schema de la base de datos, el archivo que estás editando, el historial de conversación o las instrucciones del sistema (system prompt).
Si pagas la tarifa de entrada estándar (Input Price) en cada llamada repetida, estás pagando una y otra vez por los mismos datos. Aquí es donde entra en juego el Prompt Caching.
Las cuatro dimensiones de precio en un modelo moderno
- Input (Entrada estándar): costo por 1 millón de tokens de prompt procesados en frío sin coincidencia en memoria.
- Output (Salida): costo por 1 millón de tokens generados por el modelo. Es la métrica más costosa porque requiere cómputo recurrente autoregresivo.
- Cache Write (Escritura en caché): costo único cuando un prefijo de prompt supera el umbral de tokens (usualmente 1,024 a 2,048 tokens) y el proveedor lo indexa en memoria rápida.
- Cache Hit / Read (Lectura de caché): costo con descuento masivo (generalmente entre 75% y 90% de descuento) cada vez que realizas una llamada posterior con el mismo prefijo de prompt.
Ejemplo real: Caso de uso en desarrollo
Imagina una sesión de programación interactiva donde tu contexto base (reglas del proyecto + archivos abiertos) pesa 80,000 tokens y realizas 50 consultas durante la tarde:
- Sin caché: 80,000 tokens × 50 llamadas = 4,000,000 tokens de entrada estándar. En un modelo de $3.00 / 1M, esto representa $12.00 USD.
- Con Prompt Caching: pagas una única escritura ($3.75 / 1M) y 49 lecturas con 85% de descuento ($0.30 / 1M). El costo total cae a $1.48 USD: un ahorro del 87.6% en la misma sesión de trabajo.
Cómo aprovechar la caché en LLMPIX
En el catálogo de modelos de LLMPIX publicamos de forma totalmente transparente el precio de lectura y escritura de caché por cada millón de tokens. Modelos como claude-sonnet-5, deepseek-v4-pro y gemini-3.8-flash aplican automáticamente la reducción en el balance cuando tu cliente mantiene prefijos estables.