L’operazione di Red Hat per l’acquisizione di Neural Magic ha come obiettivo quello di consentire ai clienti di utilizzare qualsiasi applicazione o carico di lavoro nel cloud ibrido. L’esperienza di Neural Magic nell’ingegneria delle prestazioni di inferenza e il suo impegno nell’open source si allineano perfettamente alla visione di Red Hat di carichi di lavoro AI ad alte prestazioni che rispondono direttamente ai casi d’uso e ai dati specifici dei clienti, ovunque e nel cloud ibrido.
Annunciata l’operazione Red Hat
Con le prospettive offerte della gen AI che dominano gran parte del panorama tecnologico odierno, i modelli linguistici di grandi dimensioni (LLM) alla base di questi sistemi accrescono le proprie dimensioni. Di conseguenza, la creazione di servizi LLM affidabili ed efficienti dal punto di vista dei costi richiede una notevole potenza di calcolo. Oltre a risorse energetiche e competenze operative specializzate. Queste sfide rendono i vantaggi di un’intelligenza artificiale personalizzata, pronta per l’implementazione e più attenta alla sicurezza, fuori dalla portata della maggior parte delle organizzazioni.
La gen AI diventa accessibile
Red Hat intende affrontare queste sfide rendendo la gen AI accessibile a un maggior numero di organizzazioni attraverso l’innovazione aperta di vLLM. Sviluppato da UC Berkeley, vLLM è un progetto open source guidato dalla comunità per l’open model serving (il modo in cui i modelli di gen AI inferiscono e risolvono i problemi) che supporta tutte le principali famiglie di modelli, la ricerca avanzata sull’accelerazione dell’inferenza. Inoltre diversi backend hardware tra cui GPU AMD, AWS Neuron, Google TPUs, Intel Gaudi, GPU NVIDIA e CPU x86. La leadership di Neural Magic nel progetto vLLM, combinata con il solido portfolio di tecnologie AI per il cloud ibrido di Red Hat, offrirà alle aziende un percorso aperto per la creazione di strategie AI in grado di soddisfare le loro esigenze specifiche, ovunque si trovino i dati.
I carichi di lavoro
Matt Hicks, president e CEO di Red Hat
carichi di lavoro AI devono poter essere eseguiti ovunque si trovino i dati dei clienti nel cloud ibrido. Cosa che rende necessarie piattaforme e strumenti flessibili, standardizzati e aperti, che consentano alle organizzazioni di scegliere gli ambienti, le risorse e le architetture in linea con le loro esigenze operative e di dati. Siamo entusiasti di integrare il nostro portafoglio AI basato sul cloud ibrido con l’innovazione rivoluzionaria di Neural Magic. Obiettivo confermare il ruolo di Red Hat come innovatore e leader non più solo nell’open source ma anche nell’AI.
Operazione Red Hat: parte l’acquisizione di Neural Magic
Brian Stevens, CEO di Neural Magic
L’open source ha mostrato più volte di poter promuovere l’innovazione grazie al potere della collaborazione. In Neural Magic abbiamo riunito alcuni dei migliori talenti del settore dell’ingegneria delle prestazioni dell’AI con l’unica missione di creare funzionalità di servizio LLM aperte, multipiattaforma e ultra-efficienti. L’unione con Red Hat non è solo un abbinamento culturale, ma porterà vantaggi significativi alle aziende grandi e piccole nel loro percorso di trasformazione dell’AI.
Abilitare un futuro di gen AI pronta per l’hybrid cloud
Neural Magic è nata nell’ambito del MIT nel 2018 per creare un software di inferenza performante pensato per il deep learning. Con la tecnologia e l’esperienza di Neural Magic nell’ingegneria delle prestazioni, Red Hat mira ad accelerare la sua visione del futuro dell’AI, grazie al suo portfolio tecnologico Red Hat AI. Con l’obiettivo di superare le sfide dell’AI enterprise su larga scala, Red Hat utilizza l’innovazione open source per democratizzare ulteriormente l’accesso alla potenza trasformativa dell’AI attraverso:
- Modelli con licenza open source, da 1B a 405B, che possono essere eseguiti ovunque nel cloud ibrido, nei data center aziendali, su più cloud e sull’edge.
- Funzionalità di perfezionamento che consentono alle aziende di personalizzare più facilmente gli LLM in base ai loro dati privati e ai loro casi d’uso, con una più solida base di sicurezza;
- Esperienza di ingegneria delle prestazioni di inferenza, che si traduce in una maggiore efficienza operativa e infrastrutturale.
La leadership su vLLM per far progredire Red Hat AI
Neural Magic sfrutta la propria esperienza e conoscenza di vLLM per costruire uno stack di inferenza di livello enterprise. Esso consente ai clienti di ottimizzare, distribuire e scalare i carichi di lavoro LLM in ambienti cloud ibridi con il pieno controllo sulla scelta dell’infrastruttura, sulle politiche di sicurezza e sul ciclo di vita dei modelli. Neural Magic sviluppa anche ricerche sull’ottimizzazione dei modelli, costruisce LLM Compressor (una libreria unificata per l’ottimizzazione di LLM con algoritmi di sparsity e quantizzazione all’avanguardia). Inoltre gestisce un repository di modelli pre-ottimizzati pronti per essere distribuiti con vLLM.
Operazione Red Hat
Red Hat AI mira ad aiutare i clienti a ridurre i costi e le barriere di competenza sull’AI con tecnologie potenti, tra cui:
- Red Hat Enterprise Linux AI (RHEL AI), una piattaforma di modelli di base per sviluppare, testare ed eseguire senza problemi la famiglia IBM Granite di LLM open source per applicazioni aziendali su implementazioni di server Linux;
- Red Hat OpenShift AI, una piattaforma AI che fornisce strumenti per sviluppare, addestrare, servire e monitorare rapidamente i modelli di apprendimento automatico in ambienti Kubernetes distribuiti on-premise, nel cloud pubblico o all’interno dell’infrastruttura.
- InstructLab, un progetto comunitario di AI open source creato da Red Hat e IBM che consente a chiunque di plasmare il futuro dell’intelligenza artificiale attraverso il miglioramento collaborativo di LLM Granite con licenza open source utilizzando la tecnologia di perfezionamento di InstructLab.
