DatAcademy

Evals y Observabilidad de LLMs

Si no lo mides, no lo puedes mejorar: evals, trazas y regresiones para sistemas con IA.

16 h
duración
9
lecciones
Avanzado
nivel
En vivo onlineIn-company
Sobre el curso

La disciplina que separa demos de productos: golden sets, LLM-as-judge calibrado, evaluación de RAG y de agentes, tracing con OpenTelemetry, dashboards de calidad y evals que corren en CI antes de cada deploy.

Dirigido a: AI Engineers, ML Engineers y QA de productos con IA.

Lo que tu equipo podrá hacer

Construir golden sets representativos
Calibrar jueces LLM contra criterio humano
Instrumentar trazas de prompts, tools y costos
Bloquear regresiones de calidad en CI

Temario

4 MÓDULOS · 9 LECCIONES

  1. Por qué fallan las demos en producción
  2. Golden sets y análisis de errores

Herramientas

Python
Langfuse
OpenTelemetry
Promptfoo
GitHub Actions

Próximas cohortes en vivo

  1. Inicio 6 de abril de 2027Mar y jue · 19:00 a 21:30próxima

¿Ninguna fecha le acomoda a tu equipo? En modalidad in-company definimos el calendario contigo.

También en AI Engineering y Agentes