Un ingeniero de Google DeepMind ha conseguido ejecutar Gemma 3 con 270 millones de parámetros en una impresora láser de oficina. El equipo solo disponía de 14 MB de RAM. Omar Sanseviero ha mostrado la prueba en X. El modelo cuantizado trabajó dentro de la propia impresora, con 61,3 tokens por segundo en su CPU y un consumo máximo de 14,1 MB.

Hay precedentes de IA en hardware inesperado, como cuando alguien hizo funcionar un LLM de 3.000 millones de parámetros en un Pixel 7. Los modelos pequeños caben en equipos con una memoria mucho más corta, y esta vez una impresora de oficina rindió con decencia. Más que un camino para equipos baratos, el experimento demuestra hasta dónde se puede estirar el hardware: encaja con una época de RAM carísima, pero no la resuelve, porque el modelo es de solo 270 millones de parámetros y está cuantizado.

Gemma 3 cabe en un solo archivo PostScript, sin tocar el firmware

«Con la ayuda de Carbon, ejecuté Gemma directamente en una impresora de oficina», escribe Sanseviero. No modificó el firmware ni añadió placas de cómputo externas. Todo el montaje descansa en PostScript, el lenguaje de descripción de página, Turing completo, que llevan integrado las impresoras láser actuales.

Carbon es un motor ligero de inferencia para transformers. Combinado con una versión cuantizada de Gemma 3 y sus 270 millones de parámetros, dio como resultado un único archivo de impresión PostScript en bruto.

El pico de RAM se queda en 14,1 MB al rotar las capas

Para que la impresora no agotara su memoria durante la inferencia, el sistema recurrió a la carga dinámica por capas: las iba metiendo y sacando de la RAM por turnos. Así, el pico se mantuvo en 14,1 MB de los 244,6 MB de memoria virtual PostScript asignados. El truco de rotar las 18 capas para mantener el pico tan por debajo de la memoria asignada, sin tocar el firmware, es lo que tiene verdadero mérito de la prueba.

La impresora imprime la respuesta de Gemma 3 tras 184 segundos

Según el recibo de hardware impreso que aparece fotografiado junto a la unidad Ricoh, la ejecución completa tuvo lugar de forma nativa en el intérprete PostScript Level 3 de la impresora, a lo largo de 18 capas del transformer.

CholloPremium Cazadas a diario
Deja de buscar ofertas: todas están aquí.
Amazon, AliExpress y más tiendas · precio real y enlace directo
Ver los chollos de hoy

La entrada era un prompt de cuatro tokens, «Read the fine». La fase de prefill llevó 184 segundos y decodificar un único token, 0,1 segundos, hasta sumar 184 segundos en total.

Los 61,3 tokens por segundo dicen poco si el prefill se come todo el tiempo.

El prefill y la decodificación son fases distintas de la inferencia. En el prefill, el modelo procesa de una vez todos los tokens del prompt y rellena la caché de atención. Después, en la decodificación, genera la respuesta token a token, y cada paso reutiliza esa caché.

Cuando terminó el cálculo en la pila de PostScript, la impresora sacó en papel la respuesta completa, «Read the fine print». Con ello, la demostración muestra que un equipo de oficina corriente puede ejecutar inferencia de IA en local si se fuerza su software.

Google no ha planteado ningún uso real, y el experimento interesa más a quien disfruta de estos inventos que a una oficina. Que una impresora pueda ejecutar código arbitrario a través de PostScript, además, abre una pregunta de seguridad.

Puedes seguir a HardwarePremium en Facebook, Twitter (X), Instagram, Threads, BlueSky o Youtube. También puedes consultar nuestro canal de Telegram para estar al día con las últimas noticias de tecnología.

Preguntas frecuentes

¿En qué impresora se hizo la prueba?

En una unidad Ricoh de oficina. Su intérprete PostScript Level 3 procesó de forma nativa las 18 capas del modelo, según el recibo de hardware impreso que acompaña a la demostración.

¿Hubo que alterar la impresora para ejecutar el modelo?

No. Sanseviero no cambió el firmware ni conectó placas externas: generó con Carbon un archivo de impresión PostScript en bruto y lo envió a la impresora.

🔥 ¿Tienes un minuto? Dale al play, te van a engancharSuscríbete al canal
🔴 NUEVO5 errores con los ventiladores que asan tu PC 🔥5 errores con los ventiladores que asan tu PC 🔥
🔴 NUEVO8.000 Hz en un mando… ¿se nota de verdad?8.000 Hz en un mando… ¿se nota de verdad?
🔴 NUEVOPor fin un mando que acaba con el drift 🕹️Por fin un mando que acaba con el drift 🕹️
Este mando cabe en el bolsillo… y es una consola 🎮 Razer PrioEste mando cabe en el bolsillo… y es una consola 🎮 Razer Prio
¿Se puede jugar en un portátil ARM? Lo he probado 🎮🤯 #shorts¿Se puede jugar en un portátil ARM? Lo he probado 🎮🤯 #shorts

Comentarios

Cargando comentarios…