Alucinación (en modelos de lenguaje)

En el contexto de los modelos de lenguaje, una alucinación es cuando el modelo genera información que suena plausible pero es incorrecta o directamente inventada, presentándola con el mismo tono de confianza que usaría para una respuesta correcta.

Por qué ocurre

Los modelos de lenguaje no “saben” cosas en el sentido en que las sabemos nosotros. Generan texto prediciendo qué palabras son más probables dadas las anteriores, basándose en patrones del entrenamiento. Cuando se les pregunta por algo que está fuera de su conocimiento o en los límites de su entrenamiento, siguen generando texto plausible aunque no sea verdad.

Cuándo es un riesgo real

Las alucinaciones son un riesgo relevante en:

• Aplicaciones donde la precisión factual es crítica (medicina, derecho, finanzas).
• Asistentes que responden sobre información específica de la empresa sin acceso a esa información real.
• Generación de documentos legales o técnicos sin revisión humana.

En tareas creativas (redacción, brainstorming, resumen) las alucinaciones son un problema menor.

Cómo mitigarlas

• RAG: dar al modelo acceso a las fuentes reales en lugar de depender de su memoria.
• Grounding: pedir al modelo que cite las fuentes de cada afirmación.
• Temperatura baja: reducir la “creatividad” del modelo en tareas donde se necesita precisión.
• Revisión humana: en procesos donde el error tiene consecuencias relevantes, mantener siempre un humano en el bucle.