Sesión 1: Teoría avanzada de LLMs y limitaciones
Fine-tuning, instruction tuning e in-context learning
- Fine-tuning: Ajuste del modelo con datos adicionales para tareas específicas.
- Instruction tuning: Entrenamiento para seguir instrucciones de usuario de forma más general.
- In-context learning: El modelo aprende de ejemplos dados en el prompt, sin modificar sus pesos.
Límites de contexto y eficiencia
- Límite de contexto: Máxima cantidad de tokens que el modelo puede procesar en una sola interacción.
- Eficiencia: Costos computacionales, latencia, escalabilidad.
Práctica: Analiza casos de uso y compara cuándo conviene cada técnica.