Tokens: Los ladrillos invisibles de la IA
Si alguna vez has usado ChatGPT, Claude o cualquier otra IA, probablemente hayas visto la palabra «tokens» en algún lado. Quizás notaste que cada mensaje te cuesta cierta cantidad, o viste en la documentación algo sobre «límites de tokens». La mayoría de la gente asume que es como contar palabras, pero la realidad es un poco más rara y, honestamente, bastante importante para entender cuánto te van a cobrar por usar estas herramientas.
Vamos a desenredar esto de forma que tenga sentido.
¿Qué es un token exactamente?
Un token es un pedazo de texto. Puede ser una palabra completa, parte de una palabra, o incluso un símbolo. Piensa en él como las fichas de un juego de dominó: cada ficha es pequeña, tiene un valor, y muchas fichas juntas forman algo más grande.
La clave está en esto: los tokens no corresponden uno a uno con palabras.
Voy a darte un ejemplo concreto. La palabra «programación» en la mayoría de los modelos de IA se divide así:
- «progr»
- «ama»
- «ción»
Eso son 3 tokens para una sola palabra. Pero si digo «hola», eso es probablemente 1 token. Y si escribo «👍», ese emoji podría ser 1 o más tokens dependiendo del modelo.
Esta fragmentación se llama tokenización, y es el primer paso que hace cualquier modelo de lenguaje antes de procesarte tu mensaje.
¿Por qué los modelos cuentan en tokens en lugar de palabras?
Acá es donde entra la parte técnica, pero te la explico sin que necesites un doctorado en matemáticas.
Los modelos de lenguaje no entienden palabras de la forma en que tú las entendes. No leen «gato» y saben que es un animal felino. En cambio, trabajan con números. Cada token (cada pedazo de texto) se convierte en un número, y el modelo procesa secuencias de números.
Cuando dividen el texto en tokens, en lugar de palabras completas, consiguen:
1. Consistencia matemática: Algunos idiomas, como el español, tiene palabras muy largas. Si contaran en palabras, el modelo tendría que procesar estructuras de tamaños muy variados, lo que lo haría más lento e ineficiente. Los tokens hacen que todo sea más uniforme.
2. Riqueza de información: Un token puede capturar información más granular. No es lo mismo procesar «pro-grama-ción» que procesar «programación» como una sola unidad. Los fragmentos pequeños dan más flexibilidad al modelo.
3. Gestión de memoria: Los modelos de IA tienen una memoria limitada (el «contexto»). Si cuentan en palabras, pueden procesar menos información total. Si cuentan en tokens más pequeños, pueden manejar más contenido dentro del mismo límite. Esto es importante.
4. Economía del servidor: Y acá llegamos a lo que realmente importa para tu bolsillo.
El verdadero por qué: dinero
Vamos a ser honestos. La razón por la que las empresas de IA cobran por tokens es simple: controlar exactamente cuánto procesa su servidor por cada usuario.
Si cobraran por palabras, habría ambigüedad. ¿Qué cuenta como una palabra? ¿Una palabra con guión son dos? ¿Las abreviaciones? ¿Los números? Es un desastre administrativo.
Los tokens, en cambio, son deterministas. Dado el mismo texto, siempre se tokeniza exactamente igual. Eso permite que OpenAI, Anthropic o cualquier proveedor sepa con precisión cuánto cuesta procesar tu mensaje.
Piensalo así: es como la diferencia entre una pizzería que cobra «por pizza» (ambiguo, ¿cuál es el tamaño?) versus una que cobra «por gramo de masa» (exacto, medible, justo).
¿Cuánto cuesta un token?
Varía bastante según el modelo y el proveedor. Aquí te doy números reales (a 2024, estos cambian):
Claude 3.5 (Anthropic):
- Input: USD $0.003 por 1,000 tokens
- Output: USD $0.015 por 1,000 tokens
GPT-4 (OpenAI):
- Input: USD $0.03 por 1,000 tokens
- Output: USD $0.06 por 1,000 tokens
GPT-3.5 (OpenAI):
- Input: USD $0.0005 por 1,000 tokens
- Output: USD $0.0015 por 1,000 tokens
Lo que esto significa en dinero de verdad es interesante. Un mensaje promedio en español tiene alrededor de 100 a 150 tokens. Una conversación de 10 mensajes podría costarte entre USD $0.30 y USD $5, dependiendo del modelo.
En pesos chilenos, si tomamos un tipo de cambio de CLP $1,000 por dólar, usar Claude 3.5 para una conversación promedio te cuesta alrededor de CLP $450 a $2,250. Parece poco hasta que eres una empresa procesando millones de consultas al día.
Por qué importa para el precio
Entender tokens es crítico para controlar cuánto gastas en IA.
Si usas un modelo con un límite de 100,000 tokens de contexto, eso suena infinito. Pero si cada mes procesas ese contexto 100 veces, estás moviendo 10 millones de tokens. A USD $0.003 por 1,000, eso son USD $30 al mes solo en input. Agrega los outputs (que generalmente cuestan más) y fácilmente estamos en USD $100+.
Por eso algunos cuidadosos en la soberanía digital prefieren correr modelos localmente. Cuando instalas un modelo en tu propia máquina (con herramientas como Ollama o LM Studio), no pagas por tokens. Pagas por energía eléctrica y el costo de hardware, pero es una sola vez. No hay pago recurrente por cada consulta.
Es la diferencia entre alquilar un teléfono versus comprar uno.
Por qué importa para la privacidad
Aquí está lo verdaderamente delicado.
Cada token que envías a OpenAI, Claude, o cualquier servicio en la nube se procesa en servidores de esa empresa. Eso significa que tus tokens (tu información) cruza por sus sistemas. Ellos dicen que no guardan los datos de conversación (depende del modelo y del plan), pero la transmisión sucede.
Si usas tokens de forma local, nada de eso sucede. Tus palabras nunca abandonan tu máquina. Es un nivel de privacía completamente diferente.
Además, los tokens que procesas son datos que se pueden analizar. Si una empresa ve que usualmente procesas «malaria» + «síntomas» + «medicinas», deducen información sobre ti. Es información granular y muy valiosa para perfiles psicológicos y publicitarios.
Los tokens no son solo una unidad de medida. Son la unidad de vigilancia y monetización.
El lado práctico: cómo ahorrar tokens
Si tienes que usar IA en la nube (porque localmente aún no tienes lo que necesitas), acá hay formas inteligentes de ahorrar:
1. Sé específico en tus prompts: Un prompt vago de 500 tokens que no da resultados útiles te obliga a iterar. Cinco iteraciones = 2,500 tokens. Un prompt bien pensado de 200 tokens que da exactamente lo que necesitas = solo 200 tokens input.
2. Usa modelos más baratos cuando sea posible: Si tu tarea no necesita GPT-4, usa GPT-3.5. La diferencia en precio es brutal (20 veces más barato) y para muchas tareas funciona igual.
3. Comprime tu contexto: Si le das 10,000 tokens de contexto cuando podrías dar 2,000, quemaste tokens al pedo.
4. Considera procesos locales primero: Para cosas como análisis de documentos personales o brainstorming privado, usa Ollama con un modelo local. Solo usa la nube cuando realmente la necesites.
Lo que realmente está pasando
Los tokens son la moneda del siglo XXI para la IA. Son tan fundamentales que las empresas construyen sus modelos de negocio alrededor de ellos.
Entender qué es un token no es trivia técnica. Es entender cómo te van a cobrar, cómo controlas tu privacidad, y dónde estás delegando tu cognición.
Cuando publiques un documento de 5,000 palabras en ChatGPT y veas que fueron 8,500 tokens, sabrás exactamente qué sucedió. Cuando decidas correr un modelo localmente para evitar enviar tus datos, entenderás qué estás evitando.
Eso es soberanía digital real: no es rechazar la tecnología, es entender exactamente cómo funciona, cuánto cuesta, y dónde tus datos van o se quedan.
Recursos para profundizar
Documentación oficial:
- [Tokenizer de OpenAI](https://platform.openai.com/tokenizer): Prueba aquí cuántos tokens tiene cualquier texto.
- [Documentación de Anthropic sobre tokens](https://docs.anthropic.com/en/api/getting-started-with-the-api): Explica bien el modelo de Claude.
Herramientas prácticas:
- Ollama: Para correr modelos localmente sin preocuparte por tokens.
- LM Studio: Interfaz amigable para IA local.
Para leer más:
- «The Alignment Problem» de Brian Christian: Contexto sobre cómo estos modelos funcionan y sus implicaciones.
- Substack de Andrej Karpathy: Explica con claridad cómo funcionan los LLMs desde adentro.
La soberanía digital comienza cuando entiendes cómo funciona lo que usas. Los tokens son el primer paso en esa dirección.
Foto de MART PRODUCTION en Pexels
