RAG, contexto largo o memoria aprendida: cómo elegir

Si el modelo admite cientos de miles de tokens, parece tentador enviarle toda la carpeta. Funciona en una demo cuidadosamente escogida. En producción aparecen documentos repetidos, permisos, coste, información caducada y una pregunta incómoda: ¿qué parte del contexto utilizó realmente?

RAG, contexto largo y memoria aprendida resuelven problemas relacionados, pero distintos. La decisión correcta suele combinar dos de ellos y mantener el tercero fuera hasta que exista una necesidad real.

Tres maneras de poner información delante del razonamiento

RAG recupera una selección desde un repositorio externo. El índice puede actualizarse sin reentrenar y la respuesta conserva referencias.

Contexto largo entrega muchos tokens directamente al modelo en una llamada o sesión. Evita una etapa de recuperación, pero paga lectura y atención sobre material quizá irrelevante.

Memoria aprendida modifica un estado o módulo neuronal para retener patrones durante el uso. Trabajos como Titans exploran memorizar información sorprendente en tiempo de prueba mediante una memoria neuronal (Google Research). No equivale a guardar conversaciones en una base de datos.

Una matriz de decisión práctica

La tabla no produce una respuesta automática. Ayuda a identificar qué requisito domina.

El contexto largo no elimina la recuperación

Incluso cuando todo cabe, la relevancia importa. Estudios recientes encuentran que el contexto largo puede superar a RAG en ciertos benchmarks cuando dispone de recursos, mientras RAG conserva ventajas de coste; otros muestran que el rendimiento a longitudes altas varía mucho entre modelos y tareas (Li et al., 2024, Leng et al., 2024).

Un expediente de due diligence con cuarenta documentos seleccionados puede beneficiarse de lectura conjunta. Un repositorio corporativo con millones de archivos necesita descubrir primero cuáles corresponden al usuario, la fecha y la pregunta. Contexto largo y RAG pueden encadenarse: recuperar documentos completos y dejar que el modelo razone sobre ellos manteniendo su orden.

La ventana indica cuánto puede recibir el modelo. No garantiza cuánto utilizará bien ni cuánto debería recibir.

RAG compra control, pero introduce una frontera

La recuperación permite actualizar fuentes, filtrar permisos y explicar de dónde salió un dato. Su fallo característico es omitir la pieza necesaria. Chunking, embeddings y top-k crean una frontera artificial que puede separar una tabla de su título o una excepción de su regla.

Por eso hay que evaluar recuperación antes de generación. Una respuesta perfecta es imposible si el pasaje correcto nunca entra. Conservar estructura documental, combinar búsqueda léxica y semántica, rerankear y expandir alrededor del fragmento suelen aportar más que aumentar indiscriminadamente el número de chunks.

Para preguntas compuestas puede utilizarse Agentic RAG, pero debe compararse con una línea base simple. La investigación de 2025 sobre baselines fuertes muestra que métodos sencillos que preservan el orden documental pueden igualar o superar pipelines más complejos en varias pruebas (Laitenberger, Manning y Liu).

La memoria aprendida no es una base documental invisible

Titans y el marco MIRAS plantean módulos que aprenden a memorizar durante la inferencia. Es una dirección relevante para secuencias extensas y adaptación. Sin embargo, una organización necesita preguntas que el rendimiento medio del paper no responde: cómo aislar usuarios, corregir un dato, inspeccionar influencias, conservar una versión o cumplir una solicitud de borrado.

La memoria aprendida puede formar parte del modelo que el proveedor ofrece. No debería recibir documentos empresariales como sustituto improvisado de un repositorio gobernado. Hasta que existan interfaces, evaluaciones y controles maduros, conviene tratarla como capacidad del modelo, no como sistema de registro.

Tres escenarios, tres combinaciones

Analizar un contrato y sus anexos

El usuario selecciona un conjunto cerrado. Contexto largo conserva relaciones y permite comparar definiciones. RAG puede ayudar a enlazar políticas internas, pero no necesita fragmentar el contrato si cabe y la latencia es aceptable.

Responder sobre normativa y procedimientos internos

RAG filtra jurisdicción, vigencia y permisos; una capa agentic descompone preguntas complejas. El contexto se reserva para documentos recuperados, no para todo el archivo.

Asistente personal que aprende preferencias

Una memoria externa con hechos explícitos, consentimiento, edición y caducidad suele ser más gobernable. La memoria aprendida podría mejorar patrones a largo plazo, pero necesita límites claros para no convertir una corrección en algo opaco.

Cómo probar sin discutir por intuición

1. Reúna preguntas reales y documentos con permisos representativos.
2. Construya una línea base de RAG simple y otra de contexto largo.
3. Mida exactitud, cobertura de citas, coste, latencia y fugas de acceso.
4. Añada preguntas irresolubles y documentos contradictorios.
5. Pruebe actualización y borrado, no solo lectura inicial.
6. Use routing si ninguna opción gana en todos los grupos.

La evaluación “misma pregunta, misma respuesta esperada” debe aceptar variación de redacción y concentrarse en hechos, evidencia y decisiones.

Preguntas frecuentes