Loihi 2 para Computación neuromórfica

Hemos estado controlando los esfuerzos neuromórficos de Intel desde que lanzó su primer silicio dedicado de 14 nm para Computación neuromórfica, llamado Loihi, a principios de 2018. En una entrevista con Director de Intel Lab, Dr. Richard Uhlig En marzo de 2021, pregunté sobre el desarrollo del hardware y cuándo podríamos ver una segunda generación. Hoy es ese día, y el grupo está anunciando Loihi 2, una mejora sustancial con respecto a la primera generación que aborda muchos de los frutos más fáciles del primer diseño. Lo que quizás sea igual de interesante es el nodo de proceso utilizado: Intel está comunicando que Loihi 2 se está construyendo, en silicio hoy, utilizando una versión de preproducción del primer nodo de proceso EUV de Intel, Intel 4.

Computación neuromórfica para Intel

Al crear una arquitectura que en su núcleo se modela como un cerebro, la idea es que tener millones de neuronas y sinapsis conducirá a tareas de computación con los beneficios únicos de potencia / rendimiento en tareas específicas para las que están diseñados los cerebros. Es un producto comercial potencial a largo plazo para Intel; sin embargo, la tarea del equipo ha sido desarrollar tanto la tecnología como el software para descubrir y acelerar las tareas adecuadas para la computación de tipo neurona.

El laboratorio neuromórfico de Intel fue en realidad una adquisición de Fulcrum Microsystems en 2011. En ese momento, el equipo de Fulcrum era un grupo de computación asincrónica que trabajaba en conmutadores de red. Esa tecnología se trasladó al grupo de redes dentro de Intel, y la división de investigación centró su atención en otros usos de la computación asincrónica y aterrizó en Neuromorphic.

En ese momento, la investigación sobre este tipo de arquitectura de computación neuromórfica para cargas de trabajo reales era bastante incipiente, mientras que el campo había existido. desde finales de la década de 1980, el hardware dedicado construido por investigación no existió realmente hasta principios de la década de 2010. los Proyecto Cerebro Humano, un proyecto de investigación de 10 años financiado por la Unión Europea para investigar este campo, se estableció recién en 2013, y de ahí está el Espinaquer sistema en 2019, con un millón de chips, mil millones de neuronas, para 100 kW de potencia activa.

En comparación, la primera generación de Loihi de Intel admite 131000 neuronas por 60 mm2 chip, y 768 chips se pueden juntar en un solo sistema Pohoiki Springs con 100 millones de neuronas por solo 300 vatios. En el propio marketing de Intel, lo han descrito como el equivalente a un hámster. El nuevo chip Loihi 2, a un alto nivel, utiliza 31 mm2 por chip para un millón de neuronas, aumentando efectivamente la densidad 15 veces, sin embargo, el desarrollo va más allá de los números brutos.

Loihi 2

El chip Loihi 2 en un nivel alto puede parecer similar: 128 núcleos neuromórficos, pero ahora cada núcleo tiene 8 veces más neuronas y sinapsis. Cada uno de esos 128 núcleos tiene 192 KB de memoria flexible, en comparación con antes, donde se fijaba por núcleo en tiempo de ejecución, y cada neurona se puede asignar hasta 4096 estados según el modelo, mientras que el límite anterior era de solo 24. El modelo de Neuron ahora también puede ser completamente programable, similar a un FPGA, lo que permite una mayor flexibilidad.

Tradicionalmente, las neuronas y las redes con picos entregan datos en un evento binario, que es lo que hizo Loihi v1. Con Loihi 2, esos eventos se pueden clasificar con una carga útil de 32 bits, lo que ofrece una mayor flexibilidad para la computación en el chip. Estos eventos ahora se pueden monitorear en tiempo real con nuevas funciones de desarrollo / depuración en el chip, en lugar de pausar / leer / reproducir. En combinación, esto también permite un mejor control al cambiar dinámicamente las cargas de trabajo informáticas, como la compresión en abanico, el escalado de peso, las convoluciones y las transmisiones.

Quizás una de las mayores mejoras es la conectividad. La primera generación utilizó un protocolo asincrónico personalizado para crear una gran red 2D de neuronas, mientras que Loihi 2 se puede configurar para usar una variedad de protocolos según las necesidades, pero también en una red 3D. Nos dijeron que Loihi 2 no es solo un chip único, sino que será una familia de chips con la misma arquitectura de neuronas pero con una variedad de opciones de conectividad diferentes basadas en casos de uso específicos. Esto se puede usar junto con los aceleradores de compresión de mensajes integrados para obtener un aumento efectivo de 10 veces en el ancho de banda de chip a chip.

Esto también se extiende a la conectividad Loihi externa a la informática más convencional, que anteriormente estaba mediada por FPGA; ahora Loihi 2 admite Ethernet 10G, GPIO y SPI. Esto debería permitir una integración más fácil sin la necesidad de sistemas personalizados, como la creación de clústeres de cómputo Loihi 2 desagregados.

Construido sobre Intel 4

Nos sorprendió saber que Loihi 2 se basa en una versión de preproducción del proceso Intel 4. Todavía estamos a un tiempo de que Loihi 2 sea una parte de los ingresos de Intel, y el equipo neuromórfico lo sabe, pero resulta que el chip es quizás un candidato ideal para ayudar a generar un nuevo proceso.

Con 31 mm2, el tamaño significa que incluso si es necesario mejorar el rendimiento, una sola oblea puede ofrecer más virutas de trabajo que las pruebas con un tamaño de matriz más grande. A medida que el equipo realiza pruebas posteriores al silicio para voltaje / frecuencia / funcionalidad, pueden regresar más rápido al equipo de Desarrollo de Tecnología de Intel. Confirmamos que hay silicio real en el laboratorio y, de hecho, el hardware estará disponible hoy a través de DevCloud de Intel, directamente al metal, sin ninguna emulación.

Normalmente, con nuevos nodos de proceso, necesita un cliente con un tamaño de matriz de silicio pequeño para ayudar a iterar a través de los obstáculos potenciales para llevar un proceso a una rampa y producción a gran escala. Los competidores de fundición de Intel normalmente hacen esto con clientes que tienen chips del tamaño de un teléfono inteligente, y los beneficios para el cliente generalmente significan primero en el hardware o quizás algún tipo de descuento inicial (aunque quizás no en el clima actual). Intel ha tenido problemas anteriormente en ese frente, ya que solo tiene su propio silicio para usar como vehículo de prueba.

El equipo de Neuromorphic dijo que en realidad encajaba bien, dado que el hardware neuromórfico requiere la alta densidad y la baja potencia estática que ofrecen los nodos de proceso de vanguardia. El diseño de 128 núcleos también significa que tiene una unidad de repetición consistente, lo que permite al equipo de proceso observar la regularidad y la consistencia en la producción. Además, dado que Loihi sigue siendo un proyecto de investigación por ahora, no hay una expectativa seria de llevar ese producto al mercado en una ventana determinada, lo que quizás un gran cliente pueda necesitar.

¿Significa esto que Intel 4 está listo para la producción? No del todo, pero indica que se están haciendo progresos. Varios de los puntos de referencia enumerados de Loihi 2 tenían la advertencia de ‘resultados esperados de hardware simulado dados’, aunque algunos otros se realizaron en silicio real, y la compañía dice que tiene silicio real para implementar en la nube hoy. Intel 4 es el primer nodo de proceso de Intel que la litografía Extreme Ultra Violet (EUV), e Intel será el último gran fabricante de semielaborados en iniciar un proceso EUV para la producción. Pero todavía estamos muy lejos, de vuelta en Acelerado de Intel En realidad, no se espera que EUV e Intel 4 aumenten la producción hasta la segunda mitad de 2022.

Para terminar, a partir del anuncio de Intel, podemos observar la densidad de transistores. A 2.3 mil millones de transistores en 31 mm2, eso pondría la densidad en 71,2 millones por mm2, que es solo un tercio de lo que esperamos. Las estimaciones basadas en los anuncios anteriores de Intel situarían a Intel 4 en alrededor de 200 MTr / mm2. Entonces, ¿por qué Loihi 2 es tan bajo en comparación con ese número?

En primer lugar, tal vez sea un chip neuromórfico y no un diseño lógico tradicional. El núcleo tiene ~ 25 MB de SRAM en total junto con toda la lógica, que para un 31 mm2 El chip puede ser una buena parte del área de la matriz. Además, la idea principal de Intel con los chips neuromórficos es la funcionalidad en primer lugar, el rendimiento en segundo lugar y la potencia en tercer lugar. Por lo tanto, hacer que funcione correctamente es más importante que hacerlo funcionar rápido, por lo que no siempre existe una necesidad absoluta de la densidad más alta. Luego está el hecho de que todavía es un chip de desarrollo y permite a Intel refinar su proceso EUV y probar la litografía de precisión sin tener que preocuparse tanto por los defectos causados ​​por las densas bibliotecas de transistores. Más por venir, estoy seguro.

Para agregar un punto final, nuestro informe especuló que la IP neuromórfica podría estar potencialmente disponible a través de las ofertas de IP del Servicio Foundry de Intel en el futuro.

Nuevo marco de software Lava

Independientemente de la capacidad de procesamiento, uno de los principales componentes básicos de un sistema neuromórfico es el tipo de cálculo, y quizás lo difícil que es escribir software para aprovechar dicha arquitectura. En una discusión con Mike Davies de Intel, Director del Laboratorio Neuromórfico de Intel, describimos mejor que la computación moderna es similar a una arquitectura de sondeo: cada ciclo toma datos y los procesa. Por el contrario, la computación neuromórfica es una arquitectura basada en interrupciones: actúa cuando los datos están listos. La computación neuromórfica depende más del dominio del tiempo que la computación moderna, por lo que tanto el concepto de computación como las aplicaciones en las que puede trabajar son casi ortogonales a las técnicas de computación tradicionales. Por ejemplo, mientras que el aprendizaje automático se puede aplicar a la computación neuromórfica en forma de redes neuronales Spiking (SNN), las bibliotecas tradicionales de PyTorch y TensorFlow no están diseñadas para habilitar SNN.

Hoy, como parte de los anuncios, Intel lanza un nuevo marco de software subyacente para la comunidad neuromórfica llamado Lava. Este es un marco de código abierto, no bajo el control de Intel, sino por la comunidad. Intel ha impulsado varias de sus primeras herramientas como parte del marco, y la idea es que con el tiempo se pueda desarrollar una pila de software completa para que la utilicen todos los involucrados en la computación neuromórfica, independientemente del hardware (CPU, GPU, chip neuromórfico). . Lava está diseñado para ser modular, componible, extensible, jerárquico y de código abierto. Esto incluye una interfaz de bajo nivel para mapear redes neuronales en hardware neuromórfico, paso de mensajes asíncronos basados ​​en canales, y todas las bibliotecas y características se exponen a través de Python. El software estará disponible para uso gratuito bajo BSD-3 y LGPL-2.1 en GitHub.

Sistemas iniciales

La primera versión de Loihi 2 que se implementa en los servicios en la nube de Intel es Oheo Gulch, que parece una tarjeta complementaria PCIe que usa una FPGA para administrar una gran cantidad de E / S, junto con un conector de plano posterior si es necesario. Los 31 mm2 El chip es BGA, y aquí vemos uno de los conectores internos de Intel para sujetar chips BGA en una placa de desarrollo.

En una fecha futura, Intel producirá una versión de 4 pulgadas por 4 pulgadas llamada Kapoho Point, con ocho chips a bordo, diseñada para apilarse e integrarse en una máquina más grande.

Con un chip tan pequeño, me pregunto si no vale la pena construirlo con un controlador USB en el silicio, o tener una interfaz USB a Ethernet, y ofrecer el hardware en memorias USB, similar a lo que solía distribuirse Movidius de Intel. . Le preguntamos a Intel sobre la expansión del uso de Loihi 2 a una audiencia más amplia no enfocada en la investigación / no comercial para jugar y elaborar cerveza casera, sin embargo, como este todavía es un proyecto de Intel Labs en este momento, uno de los elementos clave para el equipo es el colaboraciones dedicadas que tienen con socios para impulsar el segmento hacia adelante. Por lo tanto, tendremos que esperar al menos otra generación o más para ver si algún sistema Loihi futuro termina ofreciéndose en Amazon.

Loihi 2 debería estar disponible para que los socios de investigación lo utilicen a partir de hoy como parte de DevCloud de Intel. Se esperan implementaciones de investigación / colaboración en las instalaciones durante los próximos 12 a 24 meses.

Lectura relacionada

Leave a Comment