L’algorithme CPU entraîne des réseaux de neurones profonds jusqu’à 15 fois plus rapidement que les meilleurs formateurs GPU


Rice, Intel optimise la formation à l'IA pour le matériel standard

Anshumali Shrivastava est professeur adjoint d’informatique à l’Université Rice. Crédit photo: Jeff Fitlow / Rice University

Des informaticiens de l’Université Rice ont démontré un logiciel d’intelligence artificielle (IA) qui fonctionne sur des processeurs standard et entraîne des réseaux de neurones 15 plus rapidement que des plates-formes basées sur des processeurs graphiques.

« Le coût de l’éducation est le véritable goulot d’étranglement de l’IA », a déclaré Anshumali Shrivastava, professeur adjoint d’informatique à la Brown School of Engineering de Rice. « Les entreprises dépensent des millions de dollars chaque semaine pour s’entraîner et optimiser leurs charges de travail d’IA. »

Shrivastava, Rice et le personnel d’Intel présenteront des recherches sur ce goulot d’étranglement lors de la conférence MLSys sur les systèmes d’apprentissage automatique le 8 avril.

Les réseaux de neurones profonds (DNN) sont une forme puissante d’intelligence artificielle qui peut surpasser les humains dans certaines tâches. La formation DNN consiste généralement en une série d’opérations de multiplication matricielle, une charge de travail idéale pour les unités de traitement graphique (GPU) qui coûtent environ trois fois plus cher que les unités centrales de traitement (CPU) à usage général.

«L’ensemble de l’industrie est fixé sur un type d’amélioration: des multiplications matricielles plus rapides», a déclaré Shrivastava. «Tout le recherche du matériel et des architectures spécialisés pour stimuler la multiplication des matrices. Les gens parlent même de disposer de piles matérielles-logicielles spécialisées pour certains types d’apprentissage profond au lieu d’utiliser un algorithme coûteux et tout le monde de l’optimisation des systèmes allant dans ce sens, je disons: «Reconsidérons l’algorithme». « 

Le laboratoire de Shrivastava l’a fait en 2019 et a reformulé la formation DNN comme un problème de recherche qui pourrait être résolu à l’aide de tables de hachage. Leur «moteur d’apprentissage profond sublinéaire» (SLIDE) a été spécialement développé pour les processeurs standard. Les employés de Shrivastava et d’Intel ont démontré qu’ils pouvaient surpasser la formation basée sur le GPU lorsqu’ils l’ont présentée à MLSys 2020.

L’étude, que vous présenterez cette semaine à MLSys 2021, a examiné si les performances de SLIDE peuvent être améliorées par des accélérateurs de vectorisation et d’optimisation de la mémoire dans les processeurs modernes.

« L’accélération basée sur la table de hachage surpasse déjà le GPU, mais les processeurs évoluent également », a déclaré Shabnam Daghaghi, co-auteur de l’étude, un étudiant diplômé de Rice. «Nous avons utilisé ces innovations pour développer encore plus SLIDE. Si vous n’êtes pas obsédé par la multiplication matricielle, vous pouvez profiter de la puissance des processeurs modernes et former des modèles d’IA quatre à 15 fois plus rapidement que la meilleure alternative matérielle spécialisée.»

Le co-auteur de l’étude, Nicholas Meisburger, un étudiant de Rice, a déclaré: «Les processeurs sont toujours le matériel informatique le plus populaire. Les avantages de les rendre plus attrayants pour les charges de travail de l’IA ne doivent pas être sous-estimés.


Deep Learning Rethink surmonte les principaux obstacles de l’industrie de l’IA


Fourni par Rice University

Citation: L’algorithme CPU entraîne des réseaux de neurones profonds jusqu’à 15 fois plus rapidement que les formateurs GPU (2021, 7 avril) publiés le 7 avril 2021 sur https://techxplore.com/news/2021-04- riz-intel-Optimize -ai-commodity .html

Ce document est soumis au droit d’auteur. Sauf pour le commerce équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans autorisation écrite. Le contenu est fourni à titre informatif uniquement.

Laisser un commentaire