La pregunta que todos evitan hasta el último momento: ¿cómo saber si tu agente de IA es bueno?
Por qué la evaluación suele ser apresurada
Los LLMs tienen comportamiento probabilístico. Un agente que “funciona” en tus 5 casos de prueba puede fallar en el 20% de los casos reales.
Las 4 dimensiones a evaluar
1. Precisión funcional — ¿Hace el agente lo que se supone que debe hacer? Necesitas un dataset de evaluación: mínimo 50 pares (input, output esperado) de casos reales.
2. Robustez — ¿Cómo se comporta ante inputs inesperados? Inputs malformados, fuera de ámbito, adversariales.
3. Consistencia — ¿Da el agente la misma respuesta a inputs equivalentes? Prueba la misma pregunta reformulada 5 veces.
4. Latencia y coste — P50 y P95 de latencia, coste medio por petición × volumen estimado.
El mínimo viable de evaluación
- 50 casos de prueba representativos validados por un humano
- Una prueba de regresión automatizada
- Umbrales explícitos de despliegue
Lo que cambia en la práctica
Tener un sistema de evaluación cambia profundamente la forma de trabajar: iteras con confianza, detectas regresiones antes de que lleguen a usuarios, y tienes conversaciones honestas con stakeholders.
Para profundizar :
