NVIDIA ha revolucionado el procesamiento de imágenes generativas. Han anunciado una versión optimizada de TensorRT para RTX, que mejora de forma significativa el rendimiento de Stable Diffusion 3.5. Gracias a la colaboración con Stability AI, los usuarios pueden crear imágenes más rápido, consumiendo menos recursos.
Menos memoria, más potencia
Uno de los principales avances es la reducción del 40% en el uso de VRAM. Se pasa de más de 18 GB a tan solo 11 GB al usar modelos cuantizados en formato FP8. Esta mejora permite que múltiples GPUs RTX 50 Series ejecuten el modelo en paralelo. Algo que antes requería hardware de gama alta en solitario.
Además, el nuevo SDK TensorRT para RTX ofrece mejoras de rendimiento de hasta 2.3 veces en SD 3.5 Large respecto a la ejecución en BF16 PyTorch. Y en el modelo SD 3.5 Medium, el incremento alcanza el 1.7x. Esto representa un cambio significativo para creadores de contenido, desarrolladores y empresas. Estas empresas utilizan modelos de generación de imágenes por IA.
Un kit de desarrollo más accesible y versátil
NVIDIA también ha rediseñado TensorRT con una versión liviana y más accesible para desarrolladores. Es un paquete 8 veces más pequeño, fácil de integrar y compatible con Windows ML. Gracias a la compilación just-in-time (JIT), ahora se pueden generar motores de inferencia optimizados directamente en el dispositivo. No hay necesidad de empaquetarlos previamente.
Además, NVIDIA lanzará el modelo SD 3.5 como un microservicio NIM, facilitando su despliegue en una gran variedad de aplicaciones. Esta solución estará disponible a partir de julio a través de Hugging Face.
El nuevo TensorRT para RTX ya está disponible para descarga desde la web oficial de NVIDIA. Los modelos optimizados pueden encontrarse en el perfil de Stability AI en Hugging Face.
Puedes seguir a HardwarePremium en Facebook, Twitter (X), Instagram, Threads, BlueSky o Youtube. También puedes consultar nuestro canal de Telegram para estar al día con las últimas noticias de tecnología.
