Muse Glimmer è la nuova AI open source di Meta che gira in locale su PC e Mac

Meta porta gli agenti AI direttamente su PC e Mac. Il nuovo modello si chiama Muse Glimmer, ha 30 miliardi di parametri ed è stato progettato per lavorare in locale, quindi senza connessione a internet e con una maggiore privacy. La novità è targata Meta Superintelligence Labs e gli agenti sono disponibili con licenza Apache 2.0, perciò gli sviluppatori possono scaricarli, modificarli e integrarli nei propri progetti. Muse Glimmer è pensato soprattutto per flussi di lavoro agentici continui: utilizzo di strumenti e funzioni, programmazione, gestione di attività articolate su più passaggi e perfino valutazione delle risposte prodotte da altri LLM. Supporta inoltre input composti da testo e immagini, grazie a un encoder dedicato, e Meta afferma di averlo addestrato su oltre 100 lingue. La questione tuttavia è quella di far entrare e girare un modello da 30 miliardi di parametri in un hardware consumer, da scrivania. A volerlo usare così com’è servirebbero più di 55 GB di memoria, ma Meta ha utilizzato una quantizzazione intorno ai 4 bit che ha portato il modello linguistico a dimensioni più “umane”, inferiori ai 20 GB. In questo modo Muse Glimmer può lavorare, secondo l'azienda, all'interno di sistemi con 24 o 32 GB di memoria disponibile, lasciando spazio anche alla KV cache, all'encoder per le immagini e al modello utilizzato per accelerare la generazione.

CLICCA QUI PER CONTINUARE A LEGGERE