En los temas anteriores vimos cómo los Transformers cambiaron la arquitectura dominante del NLP moderno. Sin embargo, el verdadero salto práctico no vino solo de la arquitectura, sino de una estrategia de trabajo nueva: entrenar grandes modelos sobre enormes colecciones de texto y luego reutilizarlos en tareas concretas.
A esos sistemas los llamamos modelos preentrenados. Su uso transformó profundamente el desarrollo de aplicaciones de lenguaje natural porque permitió partir de conocimiento lingüístico ya adquirido en lugar de comenzar desde cero en cada proyecto.
Un modelo preentrenado es un modelo que ya pasó por una etapa previa de aprendizaje sobre una gran cantidad de texto antes de ser utilizado en una tarea específica.
Durante ese preentrenamiento, el sistema aprende regularidades del lenguaje: relaciones entre palabras, patrones sintácticos, asociaciones semánticas, estructuras frecuentes y muchas otras señales estadísticas.
La lógica es parecida a la transferencia de aprendizaje en otras áreas de la inteligencia artificial. En lugar de entrenar un modelo desde cero para cada tarea, se toma uno que ya aprendió una base general y se lo adapta al problema particular.
Eso reduce el costo de desarrollo, mejora el punto de partida y, en muchos casos, permite obtener resultados mucho mejores con menos datos específicos.
Antes de esta etapa, era común entrenar modelos directamente sobre el dataset de la tarea final. Eso funcionaba en problemas pequeños o con enfoques clásicos, pero se volvía limitado cuando la tarea exigía comprensión más rica del contexto.
Con el preentrenamiento, el flujo cambió: primero se aprende una base lingüística amplia y después se hace una adaptación específica. Este cambio de paradigma fue una de las razones principales del avance reciente del NLP.
Dos palabras aparecen constantemente en este contexto:
El pretraining construye una base general. El fine-tuning especializa esa base para clasificación, resumen, pregunta-respuesta, análisis de sentimiento u otras tareas.
Aunque el modelo no “comprende” en sentido humano, durante el preentrenamiento aprende patrones muy valiosos: qué palabras suelen aparecer juntas, cómo se organizan las oraciones, qué continuaciones son plausibles y qué fragmentos se parecen semánticamente.
Ese conocimiento distribuido queda reflejado en sus parámetros y luego puede reutilizarse en tareas diferentes de aquellas con las que fue entrenado originalmente.
En la literatura reciente también se habla de foundation models o modelos fundacionales. La idea es que un mismo modelo grande y general sirve como base para muchas aplicaciones posteriores.
Esto refuerza el cambio de estrategia: ya no se diseña un sistema separado para cada problema desde el comienzo, sino que se construye sobre una plataforma compartida de lenguaje.
Los modelos preentrenados cambiaron el campo por varias razones:
En la práctica, marcaron el paso de un NLP muy fragmentado a un NLP mucho más centrado en plataformas generales.
Un modelo preentrenado puede aprovecharse, en términos generales, de dos formas muy habituales:
La primera opción usa al modelo como proveedor de buenas representaciones. La segunda modifica sus parámetros para especializarlo más profundamente.
En este esquema, el modelo preentrenado produce vectores ricos en contexto y luego otro componente más simple usa esos vectores para resolver la tarea.
Por ejemplo, podemos pasar un texto por un modelo y tomar la representación resultante para alimentar un clasificador externo. Esto permite reutilizar buena parte del conocimiento aprendido sin necesidad de reentrenar todo.
En el fine-tuning, el modelo entero se ajusta con datos de la tarea específica. Esto suele dar mejores resultados cuando hay suficientes ejemplos y recursos computacionales razonables.
La ventaja es que el sistema adapta internamente sus representaciones al objetivo final. La desventaja es que requiere más costo, cuidado y riesgo de sobreajuste si los datos son escasos.
Entre ambos extremos aparecieron estrategias intermedias de adaptación parcial o liviana. La idea es no modificar todo el modelo, sino agregar o ajustar solo una pequeña parte.
Esto puede ser útil cuando el modelo es muy grande, el costo de entrenamiento es alto o se necesita reutilizar la misma base para muchas tareas distintas.
No todos los modelos preentrenados se usan del mismo modo. Algunos están pensados principalmente para tareas de comprensión, como clasificación o extracción de información. Otros están orientados a la generación de texto.
Esta diferencia se relaciona con la arquitectura concreta: encoder-only, decoder-only o encoder-decoder, como vimos en el tema anterior.
Aunque un modelo ya venga preentrenado, la calidad de los datos específicos sigue siendo crítica. Un fine-tuning mal planteado, con ejemplos pobres o mal etiquetados, puede empeorar notablemente el comportamiento.
El modelo aporta conocimiento previo, pero no reemplaza la necesidad de criterio sobre el problema, el dominio y la evaluación.
Un modelo preentrenado general puede rendir muy bien en lenguaje común y aun así fallar en dominios especializados como medicina, derecho, finanzas o textos técnicos muy específicos.
En esos casos, a veces conviene adaptar el modelo con datos del dominio o incluso partir de una versión preentrenada sobre corpus más cercanos al área de interés.
Desde el punto de vista de desarrollo, los modelos preentrenados ofrecen ventajas muy concretas:
Sus ventajas no deben ocultar sus limitaciones. Los modelos preentrenados también arrastran sesgos del corpus original, pueden requerir muchos recursos, no siempre son fáciles de interpretar y pueden fallar en contextos alejados del entrenamiento.
Además, el hecho de que un modelo sea grande y exitoso no significa que sea automáticamente adecuado para cualquier tarea o entorno de producción.
Un aspecto clave es el costo. Entrenar desde cero un gran modelo suele ser inviable para la mayoría de los proyectos. Justamente por eso el paradigma de modelos preentrenados fue tan importante: democratizó el acceso a arquitecturas potentes ya entrenadas.
Sin embargo, incluso usarlos puede requerir bastante memoria, tiempo de inferencia y capacidad de cómputo, especialmente en versiones grandes.
Los modelos preentrenados suelen ofrecer representaciones muy poderosas, pero no necesariamente transparentes. Muchas veces es difícil explicar con precisión por qué una predicción tomó cierta dirección.
Esto obliga a complementar su uso con evaluación rigurosa, análisis de errores y, cuando sea necesario, técnicas específicas de interpretación.
El crecimiento de este paradigma estuvo acompañado por bibliotecas que facilitaron enormemente su adopción. En Python, herramientas como transformers de Hugging Face hicieron posible descargar, adaptar y ejecutar modelos avanzados con pocas líneas de código.
Esto cambió también la enseñanza y la práctica del NLP, porque permitió pasar de la teoría a la experimentación con mucha más facilidad.
Los modelos preentrenados se usan hoy en una gran variedad de tareas:
Esta versatilidad es una de sus características más revolucionarias.
| Enfoque | Punto de partida | Fortaleza principal | Limitación principal |
|---|---|---|---|
| Entrenamiento desde cero | Parámetros iniciales sin conocimiento lingüístico. | Control total del proceso. | Alto costo y mayor necesidad de datos. |
| Modelo preentrenado como extractor | Representaciones ya aprendidas. | Uso rápido y relativamente simple. | Menor adaptación profunda a la tarea. |
| Modelo preentrenado con fine-tuning | Base lingüística general más ajuste específico. | Muy buen rendimiento en muchas tareas. | Mayor costo y riesgo de sobreajuste. |
Este ejemplo usa la biblioteca transformers para aplicar un modelo preentrenado de análisis de sentimiento. Lo importante no es memorizar el nombre exacto del modelo, sino observar lo simple que se vuelve reutilizar una capacidad ya aprendida.
Antes de ejecutar el ejemplo, necesitamos instalar la biblioteca transformers con el comando pip install transformers.
from transformers import pipeline
clasificador = pipeline("sentiment-analysis")
textos = [
"La película fue excelente y me sorprendió para bien.",
"El servicio fue lento y bastante decepcionante."
]
resultados = clasificador(textos)
for texto, resultado in zip(textos, resultados):
print(texto)
print(resultado)
print("-" * 40)Este pequeño ejemplo refleja una idea central del tema: buena parte del trabajo pesado ya fue realizado durante el preentrenamiento, y el desarrollador puede aprovechar ese conocimiento para construir aplicaciones más rápido.
El uso de modelos preentrenados cambió el centro de gravedad del NLP: ya no se trata solo de diseñar modelos para una tarea puntual, sino de reutilizar y adaptar sistemas que aprendieron una base general del lenguaje.
Eso aceleró el desarrollo, mejoró resultados y abrió la puerta a aplicaciones mucho más potentes, aunque también introdujo nuevas exigencias en evaluación, costo y control de calidad.
En el próximo tema estudiaremos la clasificación de texto con BERT, un caso concreto y muy influyente de cómo un modelo preentrenado puede adaptarse a una tarea supervisada.