Inferencia en GPU: CUDA, Kernels y vLLM
Haz que los modelos corran rápido y barato: GPUs, CUDA, cuantización y serving de alto rendimiento.
- 32 h
- duración
- 12
- lecciones
- Avanzado
- nivel
En vivo onlineIn-company
Sobre el curso
Para el Inference & AI Systems Engineer: arquitectura de GPU y jerarquía de memoria, programación en CUDA y Triton, cuantización INT8/FP8/4-bit, KV cache, continuous batching, speculative decoding, motores como vLLM, SGLang y TensorRT-LLM, y profiling para encontrar el cuello de botella.
Dirigido a: Ingenieros de ML, backend o HPC con buen manejo de Python y nociones de C++.
Lo que tu equipo podrá hacer
Entender qué limita la inferencia: cómputo o memoria
Escribir y perfilar kernels en CUDA y Triton
Cuantizar modelos sin perder calidad
Servir LLMs con alto throughput y baja latencia
Temario
5 MÓDULOS · 12 LECCIONES
- Arquitectura, warps y jerarquía de memoria
- Roofline: cómputo vs ancho de banda
Herramientas
CUDA
Triton
PyTorch
vLLM
SGLang
TensorRT-LLM
Nsight
Próximas cohortes en vivo
- Inicio 27 de abril de 2027Mar y jue · 19:00 a 21:30próxima
¿Ninguna fecha le acomoda a tu equipo? En modalidad in-company definimos el calendario contigo.
