01Aprendizaje automático
El software de siempre es determinista: con la misma entrada da siempre la misma salida, porque alguien escribió las reglas una a una. Un modelo de IA funciona al revés: nadie le escribe las reglas, las aprende a partir de ejemplos, y su respuesta es probabilística. Puede contestar distinto a la misma pregunta.
Eso cambia cómo se comprueba si funciona. En lugar de tests que esperan un resultado exacto, se usan evals: baterías de preguntas con respuestas conocidas para medir cuántas acierta. Y aparece un mando nuevo, la temperatura: baja para respuestas previsibles, alta para respuestas más creativas.
02Redes neuronales
Una red neuronal es una cadena de capas de «neuronas»: números que reciben datos, los multiplican por unos pesos, los suman y pasan el resultado a la capa siguiente. Hay una capa de entrada, una o varias ocultas y una de salida.
Entre capa y capa hay una función de activación, como la sigmoide o la ReLU, que decide cuánto «se enciende» cada neurona. Sin ella, la red solo podría aprender relaciones en línea recta. Aprender consiste en ir ajustando los pesos hasta que las salidas se parezcan a las respuestas correctas.
03Aprendizaje profundo
«Profundo» significa con muchas capas. Cada capa aprende algo un poco más abstracto que la anterior: en una imagen, primero bordes, luego formas, luego objetos. En el lenguaje pasa algo parecido: de letras a palabras, de palabras a ideas.
Por eso un modelo grande puede aprender patrones que nadie le enseñó de forma explícita, como traducir entre idiomas que casi no aparecían juntos en sus datos.
04Tokenización
Un modelo no lee letras ni palabras, lee tokens: trozos de texto convertidos en números. Una palabra corta suele ser un token; una larga o rara se parte en varios. El método más usado se llama Byte Pair Encoding: junta los pares de caracteres que más se repiten hasta formar un vocabulario.
Es importante porque los modelos cobran y se limitan por tokens, y porque explica algunos fallos curiosos, como que les cueste contar letras dentro de una palabra.
05Preentrenamiento
Es la fase cara: el modelo lee una cantidad enorme de texto y aprende a predecir el siguiente token. Lo que aprende se guarda en sus parámetros, los pesos de la red, que en los modelos actuales se cuentan por miles de millones.
El bucle es siempre el mismo: el modelo predice (paso hacia delante), se mide cuánto se ha equivocado (la pérdida), se calcula hacia atrás qué peso tuvo la culpa y se corrige un poco (descenso del gradiente). Repetido billones de veces. Algunos modelos usan mezcla de expertos (MoE): muchos parámetros en total, pero solo una parte se activa en cada respuesta, lo que los hace más baratos de usar.
Las leyes de escala observaron que, con más datos, más parámetros y más cálculo, los modelos mejoran de forma bastante predecible. Hasta dónde sigue funcionando eso es un debate abierto.
- Los grandes modelos de lenguaje, explicados (3Blue1Brown)
- Cómo se entrenan de verdad
- Mezcla de expertos (Hugging Face)
- Descenso del gradiente (3Blue1Brown)
- Cómo se ajustan los pesos: backpropagation
- Optimizadores más avanzados: Adam
- Scaling Laws for Neural Language Models (artículo)
- El debate sobre los límites del escalado
06Transformers
Es la arquitectura que hay detrás de casi todos los modelos actuales, presentada en 2017. Dos ideas clave. Los embeddings: cada token se convierte en una lista de números que representa su significado, de forma que palabras parecidas quedan cerca. Y la atención: cada token mira a todos los demás de la frase para decidir cuáles le importan.
Gracias a la atención, el modelo procesa toda la secuencia a la vez en lugar de palabra a palabra, lo que permite entrenar en paralelo con enormes cantidades de datos.
07Ajuste fino
Un modelo recién preentrenado sabe mucho pero no sabe comportarse: completa textos, no contesta preguntas. El fine-tuning lo vuelve a entrenar con un conjunto pequeño y muy cuidado de ejemplos para darle un estilo, un formato o un dominio concreto.
La idea útil: no hace falta entrenar desde cero. Con buenos ejemplos se puede especializar un modelo general en tareas propias, como redactar con un tono o entender documentos de un sector.
08Aprendizaje por refuerzo
Con RLHF (refuerzo a partir de valoraciones humanas), personas ordenan varias respuestas del modelo de mejor a peor. Con esas valoraciones se entrena un segundo modelo que aprende a puntuar respuestas, y ese «juez» guía al modelo principal hacia lo que la gente prefiere.
Cuando el resultado se puede comprobar automáticamente, como si un código pasa sus tests o si una cuenta sale bien, la recompensa no necesita a personas y se puede escalar mucho más.
09Inferencia
Inferencia es usar el modelo ya entrenado: le das una entrada y genera la salida token a token, eligiendo cada vez entre los más probables según la temperatura.
Los modelos de razonamiento añaden un paso: antes de responder, «piensan» en voz alta con una cadena de pensamiento. Gastan más tiempo y más tokens, pero aciertan más en problemas de varios pasos.
10Destilación
Un modelo grande hace de profesor y uno pequeño de alumno: el pequeño se entrena para imitar las respuestas del grande. El resultado es un modelo más barato y rápido que conserva buena parte de la calidad. Por eso existen familias de modelos en varios tamaños.
11Evaluación
Para saber si un modelo sirve hay que probarlo con tareas cuya respuesta ya conoces. Las pruebas públicas están bien para comparar, pero lo que de verdad importa son tus propias pruebas, con casos de tu trabajo.
Aplicado a lo mío: si quisiera usar IA para revisar escrituras o analizar operaciones, primero haría una batería de casos reales ya resueltos y vería cuántos acierta antes de fiarme.
12Ejemplo: un agente de programación
Todo lo anterior junto: se parte de un modelo base, se le ajusta con mucho código de calidad, se le entrena con refuerzo usando recompensas automáticas (¿el código compila?, ¿pasan los tests?) y se le pone a trabajar en entornos realistas con herramientas: leer archivos, ejecutar comandos, buscar.
Es el mismo esquema que sirve para cualquier agente especializado: buen modelo, buenos ejemplos del oficio, una forma objetiva de medir si lo hizo bien y herramientas para actuar.
13Recursos para seguir aprendiendo
- Andrej Karpathy: redes neuronales, de cero a GPTCurso en vídeo. El mejor para entenderlo programando.
- Andrej Karpathy: microGPTUn GPT completo en muy pocas líneas, explicado.
- 3Blue1Brown: redes neuronalesLa explicación visual más clara. Empieza por aquí.
- Machine Learning for Web DevelopersSerie práctica de Google.
- Build a Large Language Model (From Scratch)Libro y código de Sebastian Raschka.