L’équipe optimise les réseaux de neurones afin de mieux maîtriser l’informatique avec des données cryptées


données cryptées

Crédit photo : Pixabay / domaine public CC0

Cette semaine, lors de la 38e conférence internationale sur l’apprentissage automatique (ICML 21), des chercheurs du NYU Center for Cyber ​​​​Security de la NYU Tandon School of Engineering dévoilent de nouvelles informations sur fonctions fondamentales qui alimentent la capacité des de neurones à déduire des données . .

Dans l’article « DeepReDuce: ReLU Reduction for Fast Private Inference », l’équipe se concentre sur les opérateurs linéaires et non linéaires, caractéristiques clés des frameworks de réseaux de neurones, qui, selon l’opération, entraînent une dépense de temps et de calcul élevée. Lorsque les réseaux de neurones calculent sur des données cryptées, une grande partie de ces coûts sont causés par la fonction d’activation linéaire rectifiée (ReLU), une opération non linéaire.

Brandon Reagen, professeur d’informatique et d’ingénierie, et de technologie électrique et informatique, et une équipe de membres du personnel comprenant Nandan Kumar Jha, titulaire d’un doctorat. Student, et Zahra Ghodsi, une ancienne doctorante dirigée par Siddharth Garg, ont développé un framework appelé DeepReDuce. Il offre une solution en réorganisant et en réduisant les ReLU dans les réseaux de neurones.

Reagen a expliqué que ce changement nécessite une réévaluation fondamentale de l’endroit et du nombre de composants distribués dans les systèmes de réseaux neuronaux.

« Nous essayons de repenser la façon dont les réseaux de neurones sont conçus en premier lieu », a-t-il déclaré. « Vous pouvez ignorer bon nombre de ces opérations ReLU longues et gourmandes en temps de calcul tout en bénéficiant de réseaux puissants qui fonctionnent deux à quatre fois plus rapidement. »

L’équipe a découvert que, comparé à l’art antérieur pour l’inférence privée, DeepReDuce améliorait la précision et réduisait le nombre de ReLU jusqu’à 3,5 %, ou 3,5 x.

L’enquête n’est pas seulement académique. À mesure que l’ de l’IA se développe conformément aux préoccupations concernant la sécurité des données personnelles, commerciales et gouvernementales, les réseaux de neurones effectuent de plus en plus de calculs sur des données cryptées. Dans de tels scénarios impliquant des réseaux de neurones qui génèrent des inférences privées (IP) sur des données cachées sans révéler les entrées, ce sont les fonctions non linéaires qui entraînent le « coût » le plus élevé en temps et en performances. Étant donné que ce coût augmente la difficulté et le temps nécessaires aux machines d’apprentissage pour effectuer l’IP, les chercheurs ont cherché à réduire la charge des ReLU sur de tels calculs.

Le travail de l’équipe est basé sur une technologie innovante appelée CryptoNAS. Décrit dans un ouvrage antérieur de Ghodsi et dans un troisième doctorat. Étudiant, Akshaj Veldanda, CryptoNAS optimise l’utilisation des ReLUs, comment on pourrait réorganiser la disposition des roches dans un ruisseau pour optimiser le débit d’eau : il équilibre la distribution des ReLUS dans le réseau et supprime les ReLUs redondantes.

DeepReDuce étend CryptoNAS en rationalisant davantage le processus. Il comprend un certain nombre d’optimisations pour la suppression prudente des ReLU après les fonctions de réorganisation de CryptoNAS. Les chercheurs ont testé DeepReDuce en supprimant les ReLU des réseaux classiques et ont découvert qu’ils étaient capables de réduire considérablement la latence d’inférence tout en maintenant une grande précision.

Reagan fait également partie d’une collaboration la société de sécurité des données Duality, avec Mihalis Maniatakos, assistant de recherche en génie électrique et informatique, pour développer une nouvelle micropuce conçue pour calculer des données entièrement cryptées.


DeepONet : Un modèle basé sur des réseaux de neurones profonds pour l’approximation d’opérateurs linéaires et non linéaires


Plus d’information:
DeepReDuce : réduction ReLU pour une inférence privée rapide, arXiv : 2103.01396 [cs.LG] arxiv.org/abs/2103.01396

Fourni par la NYU Tandon School of Engineering

Citation: L’équipe rationalise les réseaux de neurones pour mieux calculer avec des données cryptées (2021, 22 juillet), consulté le 22 juillet 2021 à partir de https://techxplore.com/news/2021-07-team-neural-networks-adept-encrypted .html

Ce document est soumis au droit d’auteur. Sauf pour le commerce équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans autorisation écrite. Le contenu est fourni à titre informatif seulement.

Laisser un commentaire