TurboQuant veut réduire grandement les besoins en mémoire des IA gé…

Une actualité relayée par Next INpact concerne : turboQuant veut réduire grandement les besoins en mémoire des IA génératives… et ça marche.

On en revient toujours à Shannon
Des chercheurs de Google ont publié un ensemble d’algorithmes de quantification, nommé TurboQuant. Ils permettent une compression massive réduisant l’utilisation de la mémoire, notamment pour l’IA générative, alors que le prix de la RAM est dans toutes les têtes.

Le nombre de paramètres et la taille de la fenêtre contextuelle des modèles de langage (LLM) prennent une place de plus en plus importante dans leur utilisation, notamment pour traiter des quantités énormes de documents et leur permettre d’augmenter leur acuité. Mais son utilisation intensive demande une quantité importante de mémoire. L’optimisation de la compression de ces informations devient primordiale.

On vous explique le nerf de la guerre : la quantification

La quantification vectorielle est une technique déjà utilisée pour cette compression. Mais jusqu’ici, celle-ci créait au fur et à mesure un « surcoût de mémoire ». Google a annoncé ce mardi 24 mars que ses chercheurs avaient justement mis en place une série d’algorithmes de quantification qui « répond de manière optimale » à ce problème.

De fait, ils avaient mis en ligne leur article sur la plateforme de prépublication scientifique arXiv dès le 28 avril 2025 et celui-ci était passé assez inaperçu. Dans leurs billets, les chercheurs de Google expliquent que leur article a pu être accepté pour présentation à la conférence scientifique ICLR qui se déroulera du 23 avril au 27 avril 2026 à Rio.

Il reste 80% de l'article à découvrir.Vous devez être abonné•e pour lire la suite de cet article.Déjà abonné•e ? Générez une clé RSS dans votre profil.