DatAcademy

Inferencia en GPU: CUDA, Kernels y vLLM

Haz que los modelos corran rápido y barato: GPUs, CUDA, cuantización y serving de alto rendimiento.

32 h
duración
12
lecciones
Avanzado
nivel
En vivo onlineIn-company
Sobre el curso

Para el Inference & AI Systems Engineer: arquitectura de GPU y jerarquía de memoria, programación en CUDA y Triton, cuantización INT8/FP8/4-bit, KV cache, continuous batching, speculative decoding, motores como vLLM, SGLang y TensorRT-LLM, y profiling para encontrar el cuello de botella.

Dirigido a: Ingenieros de ML, backend o HPC con buen manejo de Python y nociones de C++.

Lo que tu equipo podrá hacer

Entender qué limita la inferencia: cómputo o memoria
Escribir y perfilar kernels en CUDA y Triton
Cuantizar modelos sin perder calidad
Servir LLMs con alto throughput y baja latencia

Temario

5 MÓDULOS · 12 LECCIONES

  1. Arquitectura, warps y jerarquía de memoria
  2. Roofline: cómputo vs ancho de banda

Herramientas

CUDA
Triton
PyTorch
vLLM
SGLang
TensorRT-LLM
Nsight

Próximas cohortes en vivo

  1. Inicio 27 de abril de 2027Mar y jue · 19:00 a 21:30próxima

¿Ninguna fecha le acomoda a tu equipo? En modalidad in-company definimos el calendario contigo.

También en AI Systems e Inferencia