La recherche peut aider Twitter à fonctionner plus rapidement


Twitter

Crédit photo: Pixabay / CC0 Public Domain

Des recherches de l’Université Carnegie Mellon pourraient bientôt à fonctionner plus et plus efficacement.

Juncheng Yang, Ph.D. Rashmi Vinayak, professeur adjoint au Département d’informatique, a travaillé avec Yao Yue de Twitter pour développer le segcache et mieux utiliser le cache DRAM.

« Nous avons réalisé une étude à grande échelle sur la manière dont les éléments étaient mis en cache et accessibles. Sur la base de nos recherches, nous avons développé un système pour mieux utiliser l’espace précieux de la cache », a déclaré Yang. « Cela pourrait potentiellement permettre à Twitter de réduire de 60% la plus grande taille de cluster de cache. »

La de l’équipe a été récompensée par le Community Award comme l’un des meilleurs articles au Symposium USENIX pour la conception et la mise en œuvre de systèmes en réseau le mois dernier.

La plupart des ordinateurs, des ordinateurs portables personnels aux serveurs avec des millions de tweets, stockent des éléments dans l’un des deux systèmes: disques durs ou DRAM (Dynamic Random Access Memory). Les disques durs stockent les éléments de manière permanente, tandis que la DRAM contient des éléments à la demande tels que les fichiers mis en cache. Les éléments de la DRAM sont accessibles rapidement, mais la DRAM est relativement petite, chère et consomme de l’énergie. Il a toujours été difficile de mieux utiliser cet espace limité.

Lorsque vous ouvrez Twitter, les tweets qui apparaissent dans le flux proviennent immédiatement du cache. Sans cela, les tweets de tous ceux que vous suivez devraient être extraits du disque pour charger la page d’accueil. Cela prend du temps et consomme des ressources système.

Segcache utilise deux techniques pour mieux utiliser l’espace du cache. Tout d’abord, les éléments sont regroupés pour permettre l’échange de métadonnées entre eux. Les éléments du cache sont généralement petits – la longueur la plus courante d’un tweet est de 33 caractères. Cependant, dans les systèmes existants, de grandes quantités de métadonnées sont stockées pour chaque élément, ce qui gaspille un espace de cache précieux. Regrouper des éléments similaires et partager leurs métadonnées réduit cette surcharge et permet une utilisation plus efficace du cache.

La deuxième technique consiste à repenser le système pour identifier et supprimer plus efficacement les articles périmés. Les éléments mis en cache ont généralement une courte durée de vie. Si des éléments expirés sont laissés dans le cache, ils gaspillent un espace de stockage précieux. La nouvelle conception supprime ces éléments plus rapidement et avec moins d’analyses que les approches existantes qui nécessitent que tous les éléments soient analysés régulièrement.

Yang et Vinayak ont ​​déclaré que travailler avec Twitter était essentiel pour leur travail, car l’entreprise leur permettait d’examiner le système de production du réseau de médias sociaux. Twitter travaille maintenant à intégrer les recherches de l’équipe dans son système de production.

«Nous et notre personnel Twitter sommes très enthousiastes à propos de ce travail», a déclaré Vinayak. « Changer un système de production est un problème, et les entreprises le font rarement pour intégrer les dernières recherches. Lorsque les recherches que nous faisons sont utilisées dans le monde réel, c’est très excitant. »


Les ingénieurs informaticiens augmentent la vitesse des applications de plus de 9%


Plus d’information:
www.usenix.org/system/files/nsdi21-yang.pdf

Fourni par l’Université Carnegie Mellon

Citation: Research Can Help Twitter Run Faster (2021 mai 11), consulté le 11 mai 2021 sur https://techxplore.com/news/2021-05-cmu-twitter-cache-efficiency.html

Ce document est soumis au droit d’auteur. Sauf pour le commerce équitable à des fins d’étude ou de recherche privée, aucune partie ne être reproduite sans autorisation écrite. Le contenu est fourni à titre informatif uniquement.

Laisser un commentaire