Un panel puede mostrar miles de usuarios activos, millones de mensajes y un crecimiento vertiginoso de tokens. Ninguna de esas cifras confirma que una incidencia se resolvió antes, que un contrato salió mejor revisado o que una decisión comercial mejoró.
El consumo demuestra actividad. El ROI exige conectar esa actividad con trabajo aceptado y con una consecuencia para el negocio.
Por qué las métricas de uso resultan tan seductoras
Son inmediatas, comparables y fáciles de obtener del proveedor. Además, al principio responden a una pregunta legítima: ¿la gente ha empezado a utilizar la herramienta?
El problema aparece cuando esa métrica conserva el protagonismo después del despliegue. Más mensajes pueden significar adopción, pero también prompts fallidos, reintentos o tareas fragmentadas. Menos tokens pueden indicar eficiencia o que la solución dejó de usarse. Sin el contexto del proceso, la dirección del indicador es ambigua.
OpenAI propone medir “trabajo útil por dólar” y partir de una unidad concreta: caso resuelto, cambio que supera pruebas o contrato revisado con la calidad exigida (OpenAI). Es una corrección importante: el valor aparece al final de la tarea, no en la llamada al modelo.
La cadena que conecta actividad y valor
No todos los proyectos necesitan demostrar el último eslabón desde el primer mes. Un piloto puede centrarse en calidad y tiempo. Lo que no debe hacer es presentar adopción como sustituto permanente del resultado económico.
Una métrica para cada pregunta
| Nivel | Métricas útiles | Lo que todavía no demuestran |
|---|---|---|
| Adopción | usuarios objetivo activos, recurrencia, cobertura | que el trabajo mejore |
| Ejecución | tareas iniciadas, completadas, abandonadas, escaladas | que la salida sirva |
| Calidad | lista para usar, correcciones, errores, evidencia | que exista impacto operativo |
| Operación | tiempo de ciclo, capacidad, coste por caso, backlog | que el efecto llegue a P&L |
| Negocio | conversión, retención, coste evitado, riesgo, satisfacción | que la IA sea la causa única |
| Economía | valor incremental, coste total, payback, ROI | qué parte concreta debe mejorarse |
Las capas se complementan. Si cae la conversión, la métrica de calidad ayuda a saber si el problema está en las propuestas. Si la calidad sube pero el tiempo no cambia, quizá la revisión o la integración mantienen el cuello de botella.
Definir “aceptado” antes de medir
Un resultado aceptado no es simplemente una respuesta generada. En soporte puede ser una incidencia resuelta sin reapertura durante siete días. En ingeniería, un cambio que pasa pruebas y revisión. En finanzas, una conciliación con evidencia y sin ajustes posteriores.
La definición debe incluir calidad y ventana temporal. Si se mide al instante, los fallos diferidos desaparecen. También conviene separar tres estados:
- Listo para usar: cumple la barra sin corrección.
- Necesita corrección: una persona o un nuevo intento lo completa.
- Necesita escalado: el sistema reconoce que no debe continuar.
Un escalado correcto no es necesariamente un fracaso. Puede ser el comportamiento más económico y seguro en una excepción.
El denominador cambia la conversación
Coste por usuario, por mensaje o por millón de tokens sirve para gestionar proveedores. Para gestionar un proceso interesa otra fórmula:
Coste por resultado aceptado = coste total del periodo / resultados que alcanzan la barra de calidad
El coste total incluye modelos, herramientas, infraestructura, reintentos, revisión, soporte y reproceso. Esta métrica permite descubrir que un modelo barato necesita más intentos o que una revisión humana excesiva elimina el ahorro previsto.
El volumen debe acompañarla. Reducir el coste por resultado mientras se completan muy pocos casos puede mejorar la media y empeorar el servicio.
Ejemplo: un asistente comercial con mucha actividad
La empresa celebra 80% de usuarios activos y 25.000 resúmenes generados. Ventas, sin embargo, sigue actualizando el CRM tarde.
Al medir el flujo aparecen tres datos: solo el 46% de resúmenes termina en una actualización aceptada; los comerciales corrigen contactos y próximos pasos; y las oportunidades sin seguimiento no disminuyen.
El equipo cambia la métrica principal a reuniones con CRM completo en 24 horas. Mejora la extracción de entidades, integra la confirmación en el flujo y mide oportunidades con siguiente acción. Los mensajes bajan, pero el proceso mejora. Si se hubiera optimizado consumo, se habría premiado justo el comportamiento contrario.
Atribución sin prometer causalidad perfecta
Los resultados de negocio reciben muchas influencias. Una subida de ventas puede coincidir con una campaña, un cambio de precio y el agente de IA. No hace falta fingir una precisión imposible.
Se pueden usar grupos comparables, despliegue escalonado, antes y después ajustado por estacionalidad o tareas equivalentes. Para cambios pequeños, una muestra de tiempo y calidad puede ser suficiente. La fuente, periodo y método deben quedar conservados, como recomienda la guía de evidencia de valor de OpenAI Academy (OpenAI Academy).
El lenguaje también importa. “Contribuyó a reducir” es distinto de “causó”. Un cuadro de mando serio indica qué parte está observada y qué parte es una estimación.
Un scorecard que cabe en una reunión
Trabajo útil
Resultados aceptados, cobertura del volumen y complejidad de los casos.
Dependabilidad
Listos para usar, correcciones, escalados e incidencias posteriores.
Economía
Coste completo por resultado y valor creado o protegido.
Adopción efectiva
Uso dentro del workflow objetivo, no actividad general sin contexto.
El scorecard debería compararse con una línea base y una meta. Un número aislado carece de dirección. También necesita un propietario que pueda actuar: Operaciones sobre el flujo, Producto sobre la experiencia, Tecnología sobre el sistema y Finanzas sobre la interpretación económica.
Evitar cuatro trampas habituales
- Celebrar licencias activadas. Medir la población objetivo que completa trabajo útil.
- Convertir minutos en euros automáticamente. Comprobar cómo se utiliza la capacidad liberada.
- Ocultar correcciones. Incluir revisión, reintentos y reaperturas en coste y calidad.
- Elegir solo casos favorables. Mantener una muestra representativa con excepciones y periodos comparables.
Preguntas frecuentes
¿Los tokens dejan de ser importantes?
No. Son útiles para controlar consumo, previsión y optimización técnica. Simplemente no representan valor por sí solos.
¿Qué métrica sirve para un copiloto general?
Conviene medir workflows concretos dentro del uso general: investigación, preparación de reuniones o análisis. Las encuestas de tiempo ayudan, pero deben contrastarse con evidencia observable.
¿Cómo se mide calidad en trabajo subjetivo?
Con criterios explícitos, revisión por muestras, comparaciones ciegas y consecuencias posteriores. La rúbrica debe reflejar la tarea, no el estilo preferido del evaluador.
¿El ROI debe ser financiero en todos los proyectos?
No. Puede buscar calidad, cumplimiento, resiliencia o experiencia. Hay que expresar el resultado y el coste con claridad, aunque el beneficio no se convierta artificialmente en euros.
¿Con qué frecuencia se revisa el scorecard?
Durante un piloto, semanal o quincenalmente. En producción, al ritmo del proceso y cuando cambian modelo, datos, política o población usuaria.
La actividad puede crecer mientras el valor cae
Una solución con más mensajes no es necesariamente más útil. A veces la mejor mejora reduce interacciones porque completa la tarea a la primera.
El cuadro de mando debería obligarnos a mirar el lugar donde termina el trabajo. Si no podemos señalar qué resultado cambió, todavía estamos midiendo la herramienta, no la inversión.
Fuentes consultadas
- A scorecard for the AI age — OpenAI
- How to manage AI investments in the agentic era — OpenAI
- Gather appropriate evidence of value — OpenAI Academy
- Accelerating AI innovation through measurement science — NIST
- AI ROI: the paradox of rising investment and elusive returns — Deloitte
Fuentes y vigencia revisadas el 18 de agosto de 2026.