La ventana de contexto es el número de la IA que más creció y menos se entendió. Un millón de tokens dejó de ser especificación de laboratorio: el GLM-5.3-Flash ofrece 1M de contexto con entrada de texto, imagen, video y archivo, y la pregunta práctica cambió de "¿cabe?" a "¿qué hacer con esto?".
Lo que cabe (y lo que eso destraba)
Tres materiales que antes necesitaban partirse ahora entran completos:
- La codebase con el historial: revisión de arquitectura con la base completa y los commits recientes en la misma ventana, en vez de archivo por archivo con el modelo olvidando el comienzo.
- La reunión en video: una hora de grabación analizada directamente, cruzando lo que se dijo con lo que se exhibió en la diapositiva.
- El contrato de 300 páginas: due diligence con cláusulas distantes entre sí leídas en conjunto, el caso de uso clásico que el fraccionamiento estropeaba.
El patrón de los tres: tareas cuya dificultad no era el modelo, era el fraccionamiento. El contexto largo elimina el fraccionamiento, y con él la pérdida de hilo entre piezas.
Lo que la ventana NO resuelve
Honestidad técnica en tres puntos:
- El contexto no es memoria infinita. La ventana tiene inicio y fin; lo que sale de ella deja de ser visto. Una sesión larga todavía necesita gestión de material.
- El reenvío es costo repetido. Cada llamada que carga el contexto lo cobra, salvo cache de prefijo. Una tarea larga sin estrategia de cache se vuelve factura grande. La contabilidad por tarea es lo que mantiene la ventana grande en positivo.
- Alcance no es precisión. Un modelo con 1M de contexto alucina igual: ve más, no acierta más. Cita, número y cláusula extraídos de material largo siguen exigiendo verificación contra la fuente, sobre todo donde existe consecuencia.
Las tareas que ganan más
En la práctica del día a día, tres perfiles capturan casi toda la ganancia:
- Análisis de material único y cohesivo: contrato, pliego, informe largo, codebase. Todo lo que antes era "envíe la parte 3" ahora es "envíe el documento".
- Cruce de formatos: el acta en PDF, la planilla de decisiones y la grabación en video en el mismo análisis, sin conversión manual entre herramientas.
- Trabajo de agente con material completo: el agente con acceso a la base completa falla menos por falta de contexto, y fallar menos por falta de contexto es menos retry, que es menos costo.
La frontera práctica con RAG
El contexto largo no jubila la recuperación (RAG). Una base de conocimiento viva, gigante y actualizada en tiempo real sigue pidiendo recuperación: ningún contexto estático abarca todo.
La frontera práctica: material cohesivo que cabe en la ventana corre directo; base viva y gigante corre con recuperación. Los dos se combinan, y el error común es elegir arquitectura por moda en vez de por el material.
Conclusión
Un millón de tokens cambió lo que cabe en un análisis: el documento completo, el video completo, la base completa. Lo que no cambió es la física del resto: costo de reenvío, límites de memoria de sesión y la necesidad de verificación.
Quien trata la ventana larga como material completo sobre la mesa gana en las tareas de cruce, que son las más caras del trabajo humano. Quien la trata como memoria infinita gana factura y alucinación. La ventana es enorme; el manejo es lo que decide el valor.