Microsoft ha actualizado Windows ML en Windows 11 para que ejecute de forma experimental modelos en formato GGUF y ONNX, y lo ha hecho con una nueva interfaz llamada Runtime API. El anuncio llegó en el evento de Windows y Surface de octubre, y fue recogido el 8 de octubre. La compañía trabaja en ello con la comunidad de código abierto de llama.cpp y GGUF.
Windows ML es el marco de inferencia local de IA de la plataforma. Permite a los desarrolladores ejecutar modelos en el propio dispositivo para crear aplicaciones de generación de texto o reconocimiento de voz, con menos dependencia de optimizaciones para un hardware concreto.
Los modelos GGUF de Hugging Face se ejecutan en local
Gracias a una integración experimental con llama.cpp, los desarrolladores pueden importar modelos GGUF desde Hugging Face y lanzarlos directamente en el equipo. Para mejorar el rendimiento, Microsoft ha aportado código a llama.cpp y a sus optimizaciones junto con Nvidia.
GGUF es un formato habitual para correr modelos de lenguaje en local; se descargan de plataformas como Hugging Face y se cargan con herramientas como llama.cpp. ONNX, por su parte, es el formato abierto de intercambio de redes neuronales que permite mover modelos entre distintos marcos y hardware, y ONNX Runtime es su entorno de ejecución habitual en Windows.
Qué incluye la nueva Windows ML Runtime API
La ruta nativa que ejecuta ONNX y GGUF se denomina oficialmente Runtime API de Windows ML. Según Microsoft, ofrece más rendimiento, una integración más profunda con el sistema y un control más fino. Con ella llegan dos conjuntos de interfaces:
- Text Generation API, para funciones de generación de texto.
- Speech Recognition API, para funciones de reconocimiento de voz.
La ONNX Runtime API sigue contando con soporte completo, aunque las futuras optimizaciones irán primero a la Windows ML Runtime API. Ambos entornos vienen en la versión actual, y cada desarrollador puede elegir cuándo migrar según su familiaridad con ellos.
Puedes seguir a HardwarePremium en Facebook, Twitter (X), Instagram, Threads, BlueSky o Youtube. También puedes consultar nuestro canal de Telegram para estar al día con las últimas noticias de tecnología.
Preguntas frecuentes
Windows ML admite de forma experimental modelos GGUF y ONNX a través de su nueva Runtime API.
Mediante una integración experimental con llama.cpp, que permite importar los modelos desde Hugging Face y ejecutarlos directamente en local.
Microsoft ha lanzado la Text Generation API y la Speech Recognition API, para crear funciones de generación de texto y reconocimiento de voz.
Sí, conserva soporte completo, pero las futuras optimizaciones para Windows se dirigirán primero a la Windows ML Runtime API.
¿8.000 Hz de verdad? Lo he medido 🔍 #shorts
Una pantalla de 171" en unas gafas 🤯 ASUS ROG XREAL R1
Logitech PRO X2 RAPID: teclado analógico con Rapid Trigger y pantalla OLED ¿Vale 229 €?
Este portátil no lleva Intel ni AMD: lleva un chip ARM de Qualcomm, y eso lo cambia todo. 💻⚡
Probamos el nuevo Logitech G PRO X3 Superstrike en el evento de Logitech en Madrid 🖱️🔥
Comentarios