Un token es una unidad discreta en la que un sistema divide la entrada y la salida para que un modelo pueda procesarlas. En lenguaje puede ser una palabra completa, parte de una palabra, un signo o un espacio; en modelos multimodales también puede representar fragmentos de imagen, audio u otros datos.
Un token no equivale de forma estable a una palabra. La división depende del tokenizador y del modelo.
Del texto al modelo
El tokenizador transforma una secuencia en unidades pertenecientes a un vocabulario. Los métodos basados en subpalabras permiten representar términos desconocidos mediante piezas frecuentes. Así, una palabra común puede ocupar un token y un identificador técnico largo varios.
Después, cada identificador se convierte en un vector. El modelo procesa esa secuencia y genera nuevos tokens uno a uno o por bloques, según su arquitectura. Finalmente, el sistema vuelve a convertirlos en texto u otra salida.
La misma frase puede tokenizarse de forma diferente en dos modelos. Por eso las reglas aproximadas del tipo «un token son cuatro caracteres» sirven para una estimación inicial, no para presupuestar un proceso crítico.
Ejemplo empresarial
Una aplicación resume contratos de longitudes muy distintas. El presupuesto se calculó por documento, pero los anexos, tablas y códigos internos multiplican los tokens de algunos expedientes. Esos casos tardan más, superan límites y generan reintentos.
El equipo empieza a registrar tokens de entrada y salida por tipo de contrato, pero decide con coste por resumen aceptado. También elimina contenido repetido y extrae tablas por una ruta especializada.
Qué afecta al consumo de tokens
- Las instrucciones de sistema, la petición y los documentos recuperados forman parte de la entrada.
- El historial conversacional vuelve a enviarse en muchas arquitecturas si la aplicación no lo resume o filtra.
- Las definiciones de herramientas y los esquemas estructurados también ocupan contexto.
- La salida consume tokens adicionales y suele determinar buena parte de la latencia percibida.
- Reintentos, agentes y rutas con varios modelos acumulan consumo aunque el usuario vea una sola respuesta.
Cómo utilizar la métrica
Los tokens son útiles para gestionar capacidad, límites, latencia y gasto variable. Conviene medirlos por fase: instrucciones, conocimiento, historial, herramientas y salida. Esa separación revela contextos inflados o resultados innecesariamente largos.
No los conviertas en KPI de negocio. Reducir tokens puede empeorar una respuesta; aumentarlos puede evitar una gestión reabierta. La unidad final debe ser el resultado aceptado: caso resuelto, documento validado o decisión preparada.
Qué no debe confundirse con un token
- Palabra: una palabra puede contener uno, varios o, según el sistema, compartir tokenización con signos y espacios.
- Carácter: algunos tokenizadores trabajan con fragmentos mayores; otros recurren a bytes o caracteres para casos concretos.
- Parámetro: valor aprendido durante el entrenamiento; no forma parte de la entrada de una consulta.
- Embedding: vector numérico asociado a un token, fragmento o contenido; el token es la unidad discreta.
- Ventana de contexto: cantidad máxima de tokens que el modelo puede procesar en una interacción o secuencia definida.
La decisión útil
Cuenta tokens para diseñar y operar; mide resultados para dirigir. Antes de recortar contexto, identifica qué parte aporta evidencia y cuál es repetición, historial irrelevante o una salida que nadie utiliza.
Fuentes y lecturas recomendadas
- Google for Developers: token y tokenizador, definiciones y ejemplos, consultado el 20 de agosto de 2026.
- Sennrich, Haddow y Birch, Neural Machine Translation of Rare Words with Subword Units, tokenización por subpalabras, 2015.
- INSTINTIA: el ROI de la IA debe medirse por resultados, relación entre consumo y valor del proceso.
Definición y vigencia revisadas el 20 de agosto de 2026.