Nvidia sconfigge Google e Huawei nei benchmark AI, le startup non si trovano da nessuna parte

Numeri di addestramento di intelligenza artificiale (AI) basati sulla suite del nuovo Numeri di prestazione del benchmark MLPerf 0.7 sono stati rilasciati oggi (29/07/20) e, ancora una volta, Nvidia si aggiudica la corona della performance. Otto società hanno inviato numeri su sistemi basati su processori CPU AMD e Intel e utilizzando una varietà di acceleratori AI di Google, Huawei e Nvidia. L’aumento delle massime prestazioni per ciascun benchmark MLPerf da parte della piattaforma principale è stato di 2,5x o più. Il nuovo benchmark ha inoltre aggiunto nuovi test per ulteriori carichi di lavoro di intelligenza artificiale emergenti.

In breve, MLPerf è un’organizzazione istituita per sviluppare parametri di riferimento per testare in modo efficace e coerente sistemi che eseguono una vasta gamma di carichi di lavoro di intelligenza artificiale, tra cui formazione e elaborazione delle inferenze. L’organizzazione ha ottenuto un ampio supporto nel settore da società di semiconduttori e IP, fornitori di strumenti, fornitori di sistemi e comunità accademiche e di ricerca. Lanciati per la prima volta nel 2018, gli aggiornamenti e i nuovi risultati di benchmarking sono stati annunciati per l’allenamento circa una volta all’anno, anche se l’obiettivo è una volta al trimestre.

Il vantaggio del benchmark MLPerf non è solo vedere i progressi di ciascun fornitore, ma anche i progressi complessivi del settore, specialmente quando vengono aggiunti nuovi carichi di lavoro. Per l’ultima versione della formazione 0.7, sono stati aggiunti nuovi carichi di lavoro per l’elaborazione del linguaggio naturale (NLP) utilizzando le rappresentazioni degli encoder bidirezionali dai trasformatori (BERT), i sistemi di raccomandazione che utilizzano Deep Learning Advice Machines (DRLM) e l’apprendimento del rinforzo con Minigo. Si noti che l’utilizzo di Minigo per rafforzare potrebbe anche servire da base per le applicazioni di gioco AI. I risultati del benchmark sono riportati come disponibili in commercio (on-premise o nel cloud), in anteprima (prodotti che arriveranno sul mercato nei prossimi sei mesi o in ricerca e sviluppo (sistemi ancora in fase di sviluppo precedente). I più importanti a breve termine i risultati sono quelli disponibili in commercio o in anteprima. Esiste una divisione “aperta”, ma che non ha avuto alcun impatto materiale sul risultato complessivo.

Le aziende e le istituzioni che hanno presentato i risultati includono Alibaba, Dell EMC, Fujitsu, Google, Inspur, Intel, Nvidia e l’Istituto di tecnologia avanzata di Shenzhen. Il maggior numero di invii è arrivato da Nvidia, il che non sorprende dato che la società ha recentemente costruito il proprio supercomputer (classificato n. 7 nella TOP500 elenco dei supercomputer e n. 2 nel Green500 elenco dei supercomputer), basato sulle ultime GPU Ampere A100. Questo sistema, chiamato Selene, consente all’azienda una notevole flessibilità nel testare diversi carichi di lavoro e configurazioni di sistema. Nei risultati dei test MLPerf, il numero di acceleratori GPU va da 2 a 2048 nella categoria disponibile in commercio e 4096 nella categoria di ricerca e sviluppo.

I concorrenti

Tutti i sistemi erano basati su CPU AMD e Intel abbinate a uno dei seguenti acceleratori: Google TPU v3, Google TPU v4, Huawei Ascend910, Nvidia Tesla V100 (in varie configurazioni) o Nvidia Ampere A100. Notevolmente assenti erano le startup di chip come Cerebras, Esperanto, Groq, Graphcore, Habana (una società Intel) e SambaNova. Ciò è particolarmente sorprendente perché tutte queste società sono elencate come collaboratori o sostenitori di MLPerf. C’è un lungo elenco di altre startup di chip AI che non sono rappresentate. Intel ha presentato i numeri delle prestazioni, ma solo nella categoria di anteprima per i suoi prossimi processori Xeon Platinum, non per i suoi acceleratori Habana AI recentemente acquisiti. Con solo Intel che invia numeri di soli processori, non c’è nulla con cui confrontarli e le prestazioni sono ben al di sotto dei sistemi che utilizzano acceleratori. Vale anche la pena notare che Google e Nvidia sono state le uniche società che hanno inviato numeri di prestazione per tutte le diverse categorie di benchmark, ma Google ha presentato solo numeri di riferimento completi per TPU v4, che si trova nella categoria di anteprima.

E il vincitore è?

Ogni benchmark è classificato in base al tempo di esecuzione del benchmark. A causa dell’elevato numero di configurazioni di sistema, il modo migliore per confrontare il risultato è normalizzare il tempo di esecuzione per ciascun acceleratore AI dividendo il tempo di esecuzione per il numero di acceleratori. Ciò non è perfetto perché le prestazioni per acceleratore in genere aumentano con il numero di acceleratori e / o alcuni carichi di lavoro sembrano avere prestazioni ottimizzate attorno a una determinata configurazione del sistema, ma i risultati sembrano relativamente coerenti anche quando si confrontano i numeri delle prestazioni dei sistemi con numeri relativamente simili di acceleratori. Il chiaro vincitore è stato Nvidia. I sistemi basati su Nvidia hanno dominato tutti gli otto parametri di riferimento per soluzioni disponibili in commercio. Se si considerano tutte le categorie, inclusa l’anteprima, Google TPU v4 ha avuto il tempo di esecuzione per acceleratore più veloce per i consigli.

Nel complesso, i benchmark sono aumentati da 2,5x a 3,3x rispetto alle categorie di benchmark della versione 0.6, che includono la classificazione delle immagini, il rilevamento degli oggetti e la traduzione. È interessante notare che la GPU di generazione precedente di Nvidia, la Tesla V100, ha ottenuto il punteggio migliore in tre categorie: traduzione non ricorrente, raccomandazioni e apprendimento di rinforzo, le ultime due sono nuove categorie MLPerf. Ciò non sorprende del tutto perché Ampere ha subito cambiamenti significativi nell’architettura che miglioreranno anche le prestazioni nell’elaborazione dell’inferenza. Sarà interessante vedere come i sistemi Ampere A100 ottengono punteggi nella prossima generazione di benchmark di inferenza che dovrebbero essere rilasciati entro la fine dell’anno. Un altro sviluppo da notare è l’emergere dei processori AMD Epyc nei benchmark delle migliori prestazioni a causa della loro presenza nei nuovi sistemi Nvidia DGX A100 e DGX SuperPods con i nuovi acceleratori Ampere A100 di Nvidia.

Dove sono tutti gli altri?

Nvidia continua a guidare il pacchetto, non solo per il suo vantaggio nelle GPU, ma anche per la sua leadership in sistemi completi, software, librerie, modelli addestrati e altri strumenti per gli sviluppatori di AI. Tuttavia, ogni altra azienda che offre chip e soluzioni AI offre confronti con Nvidia senza i numeri di riferimento supportati. MLPerf non è perfetto. I risultati dovrebbero essere pubblicati più di una volta all’anno e dovrebbero includere una classifica di efficienza (prestazioni / watt) per le configurazioni di sistema, due punti che l’organizzazione sta lavorando per raggiungere. Tuttavia, MLPerf è stato sviluppato come una collaborazione del settore e rappresenta il miglior metodo di valutazione delle piattaforme AI. È tempo che tutti gli altri invii i numeri MLPerf a supporto delle loro affermazioni.