Xring O100, l'acceleratore AI può elaborare fino a 330 token al secondo

Nelle scorse ore Xiaomi ha condiviso alcune nuove informazioni su uno dei tre chip custom Xring che ha presentato nelle scorse settimane, l’acceleratore AI O100 progettato per eseguire modelli AI di grandi dimensioni direttamente in locale. In occasione dell’evento di lancio dei primi device mobile con SoC O3, l’amministratore delegato e fondatore Lei Jun ha detto che O100 può raggiungere una larghezza di banda della memoria di 1,22 TB/s. L’azienda lo descrive come la prima soluzione al mondo con processo a 6 nanometri e packaging avanzato 3D con wafer-level stacking. Il chip adotta una tecnologia di hybrid bonding che avvicina i collegamenti tra i componenti ai limiti fisici della tecnologia attuale. Il principio di fondo consiste nell’impilare verticalmente i die dedicati all’elaborazione e quelli della memoria DRAM ad alta velocità attraverso una tecnologia wafer-on-wafer. Riducendo la distanza fisica tra unità di calcolo e memoria, Xiaomi punta a diminuire uno dei principali colli di bottiglia nell’esecuzione locale dei modelli linguistici di grandi dimensioni: il trasferimento dei dati.Questa architettura offre una larghezza di banda fino a 16 volte superiore rispetto a quella dei tradizionali smartphone e consente una velocità di inferenza (che è quando il modello viene addestrato, ricordiamo) fino a 330 token al secondo. L’acceleratore include inoltre una NPU multi-core ottimizzata per le diverse fasi dell’inferenza e supporta il routing dinamico dei dati.

CLICCA QUI PER CONTINUARE A LEGGERE