El siguiente paso después de correr modelos locales
Si ya corrés un modelo de lenguaje en tu máquina, felicidades. Estás más cerca de la soberanía digital que el 99% de las personas. Pero hay un paso más, uno que cambia el juego completamente: entrenar tu propio modelo.
No estamos hablando de entrenar un modelo desde cero, que requiere máquinas de 100.000 USD y expertise en machine learning. Hablamos de algo más accesible: adaptar un modelo existente a tu conocimiento específico, tus datos, tu forma de pensar.
Imágina esto: un modelo entrenado con tus notas personales, tus correos, tu forma de escribir. Un asistente que no solo entiende de IA, sino que entiende tu contexto. Eso es fine-tuning. Y es más accesible de lo que crees.
¿Por qué fine-tuning y no solo inferencia?
Correr un modelo local es excelente. Tienes privacidad, control, sin dependencia de OpenAI o Anthropic. Pero un modelo genérico es eso: genérico. Sabe un poco de todo, mucho de nada.
Cuando preguntas sobre un tema específico—tu negocio, tu escritura técnica, tus procesos internos—el modelo local te da respuestas genéricas. Es como tener un enciclopedia buena pero sin contexto de tu vida.
El fine-tuning resuelve esto. Adaptas el modelo a tu dominio. A tu industria. A tus hábitos mentales.
Los beneficios son reales:
- Precisión mejorada: el modelo entiende tu jerga, tu estilo, tus prioridades
- Eficiencia: menos tokens gastados porque el modelo ya sabe el contexto
- Privacidad garantizada: tus datos nunca salen de tu máquina
- Control total: sabes exactamente qué entrenó el modelo
- Costo cero: no pagas por API calls cada vez que lo usas
Es el siguiente escalón natural. De consumidor pasivo a creador.
LoRA y QLoRA: cómo entrenar sin bankrota
Aquí es donde entra la magia técnica. Entrenar un modelo completo es imposible para la mayoría. Modificar cada parámetro de un modelo de 7 mil millones de parámetros requiere memoria que no tenemos.
Entra LoRA: Low-Rank Adaptation.
LoRA es ingenioso. En lugar de cambiar los 7 mil millones de parámetros, entrenas matrices pequeñas que se aplican encima del modelo original. Es como aprender un idioma: no reescribís tu cerebro, solo añadís nuevas conexiones.
Los números son brutales en comparación:
- Entrenar completo: 100GB+ de VRAM, tarjetas gráficas de 10.000+ USD
- LoRA: 16GB de VRAM, posiblemente tu GPU actual
QLoRA va más allá. Añade cuantización: comprime el modelo original para usar aún menos memoria. Entrenar LoRA en una tarjeta de 8GB de VRAM es posible con QLoRA.
No es magia. Es ingeniero. Y es accesible.
Tus datos: el punto de partida
Antes de entrenar, necesitas datos. Y aquí es donde la propuesta es radical: usa tus propios datos.
No necesitas 100 mil ejemplos perfectamente etiquetados. Necesitas datos que representen cómo quieres que el modelo se comporte.
Fuentes concretas:
Notas personales: todo lo que escribiste en Obsidian, Notion, Apple Notes. Tus reflexiones, análisis, soluciones a problemas. Ese es oro puro para entrenar un modelo que piense como vos.
Correos: tu bandeja de entrada contiene miles de ejemplos de cómo te comunicás. Cómo estructurás información. Qué es importante para vos. Extractos de respuestas que escribiste revelan tu estilo.
Documentos técnicos: si escribiste reportes, documentación, guías, ese material es contexto valioso. El modelo aprenderá tu forma de explicar.
Conversaciones: Discord, Telegram, chats internos. No la socialización superficial, sino las discusiones profundas donde explicás ideas complejas.
Hábitos y procesos: cómo resolvés problemas, tu metodología, tu framework mental. Si documentaste procesos, eso es entrenamiento puro.
La calidad supera la cantidad. 1000 ejemplos buenos entrenan mejor que 100.000 ejemplos aleatorios.
Un dato importante: necesitas procesar estos datos. Limpiar, estructurar, posiblemente anonimizar información sensible. No es trabajo sexy, pero es necesario.
Axolotl y Unsloth: las herramientas que lo hacen posible
Ya sabés la teoría. Ahora lo práctico.
Axolotl es un framework opensource diseñado exactamente para esto. Simplifica el process de fine-tuning end-to-end. Configuración por YAML. Soporte nativo para LoRA, QLoRA, múltiples formatos de datos, diferentes modelos.
No necesitás ser engineer. La configuración es accesible. Elegís tu modelo base, tu dataset, tus parámetros de entrenamiento. Axolotl maneja el resto.
Unsloth es más nuevo y más rápido. Optimiza específicamente para entrenamiento eficiente de LLMs. Reduce el tiempo de entrenamiento hasta 40% comparado con implementaciones estándar. Usa menos memoria. Es diseñado para máquinas con recursos limitados.
Unsloth funciona bien integrado con Hugging Face Transformers. Si ya usás ese ecosistema, la curva de aprendizaje es casi plana.
Ambas herramientas son opensource. Ambas funcionan localmente. Tu punto de entrada es GitHub, no una interfaz web de una corporación.
El flujo práctico
Esto es cómo se ve en la realidad:
Primero, recopilás datos. Exportás notas, correos, documentos. Los limpias. Estructuras en pares pregunta-respuesta o ejemplos de interacción. No necesita ser perfecto.
Segundo, elegís un modelo base. Llama 2 7B, Mistral 7B, algo que corra en tu hardware.
Tercero, configurás Axolotl o Unsloth. Definis el dataset, los parámetros (learning rate, epochs, batch size). Para principiantes, hay configuraciones por defecto que funcionan.
Cuarto, corrés el entrenamiento. Depende de la cantidad de datos y tu hardware, puede ser horas. Tu GPU trabajará duro. Es normal.
Quinto, evaluás. Corrés el modelo fine-tuned y chequeás si aprendió lo que querías. Si no, ajustás y volvés a entrenar.
Sexto, integrás. Usás el modelo fine-tuned localmente con Ollama, LLamafile, o lo que uses.
No hay APIs externas. No hay datos en servidores de terceros. No hay facturas mensuales. Solo vos, tu máquina, y un modelo que ahora entiende tu contexto.
Casos de uso reales
Un consultor que entrena un modelo con todos sus reportes previos. Cuando hace análisis nuevos, el modelo tiene continuidad con su trabajo anterior.
Un escriba que fine-tunea un modelo con sus escritos. Le pide ayuda manteniendo su voz, su estilo, sus obsesiones intelectuales.
Un desarrollador que entrena un modelo con su codebase. El modelo entiende su arquitectura, sus decisiones, sus convenciones.
Un psicólogo que utiliza un modelo fine-tuned con sus notas de casos. Confidencialidad garantizada, análisis potenciados.
Estos no son futuros hipotéticos. Son cosas que la gente está haciendo ahora.
Las limitaciones que hay que mencionar
No es magia. El fine-tuning no convierte un modelo malo en sobresaliente. No puede crear conocimiento que no existe. Si tus datos son superficiales, el modelo será superficial.
Llamémoslo el «garbage in, garbage out» de la IA. Calidad de datos importa. Cantidad de datos importa menos de lo que intuís, pero cantidad cero definitivamente no funciona.
También, fine-tuning requiere hardware. No es tanto como entrenar desde cero, pero no lo hacés en una netbook. Un GPU decente (RTX 3070, 4070 o similar) hace la diferencia. Sin GPU, es dolorosamente lento.
Y hay una curva de aprendizaje. No es «clickear un botón». Necesitás aprender conceptos básicos: epochs, learning rate, batch size. Qué significan, cómo afectan el resultado. Nada del otro mundo, pero sí hay que dedicar tiempo.
Por qué esto importa para la soberanía
La mayoría de las personas usa IA como consumidor. ChatGPT aquí, Claude allá. Cada query entra a servidores corporativos. Tu contexto, tus datos, tus problemas quedan registrados.
No es paranoia. Es el modelo de negocios. Los datos son el producto.
Fine-tuning cambia la ecuación. Ya no sos consumidor pasivo. Sos entrenador. Tu máquina, tus datos, tu modelo.
Es un cambio psicológico además de técnico. Pasas de «la IA es algo que corporaciones hacen» a «la IA es algo que yo hago». Con tus recursos, bajo tus términos.
Eso es poder real.
Próximos pasos
Si todo esto te interesa, el camino es claro:
Primero, corre un modelo local si aún no lo hiciste. Experimenta. Familiarizate con herramientas como Ollama o LLamafile.
Segundo, explora tu data. Qué documentos tenés. Cuántos. Qué calidad. Sin obsesionarse, pero con honestidad.
Tercero, lee sobre LoRA. No necesitás entender las matemáticas profundas. Necesitás la intuición: adaptar sin reentrenar todo.
Cuarto, experimenta con un pequeño dataset. Un proyecto piloto. 100 ejemplos. Un modelo pequeño. Aprende haciendo.
Quinto, escala si funciona. Más datos, mejor hardware, iteración.
No es un sprint. Es un camino. Y el viaje de la soberanía digital siempre es así: paso a paso, máquina a máquina, dato a dato.
Recursos para seguir
Comunidades:
- r/LocalLLaMA en Reddit: gente en tu situación
- Hugging Face Hub Discord: creadores de modelos
- oobabooga/text-generation-webui en GitHub: comunidad muy activa
Documentación técnica:
- Hugging Face Course: cursos gratuitos sobre fine-tuning
- Axolotl README en GitHub: documentación clara
- Unsloth GitHub: tutoriales paso a paso
YouTubers útiles:
- «Prompt Engineering» de Andrew Ng: Andrew Ng explicando conceptos sólidamente (requiere cuenta en Coursera, pero hay versión gratuita)
- «Fine-tuning LLMs» de Sam Witteveen: contenido práctico, paso a paso
Libros:
- «Building Machine Learning Systems with Python» de Willi Richert: buenas bases
- «Designing Machine Learning Systems» de Chip Huyen: frameworks de pensamiento
El point es: hay material. Hay comunidad. Hay herramientas. Solo necesitás decidir que tu contexto merece más que un modelo genérico.
Decidí entrenar lo tuyo.
Foto de Pavel Danilyuk en Pexels
