T@LC : on a voulu tester Kimi K3 (1 562 Go) en « local », on a fail…

Next INpact rapporte une information importante : t@LC : on a voulu tester Kimi K3 (1 562 Go) en « local », on a failli finir ruinés.

Heu… 43 800 euros en note de frais, ça passe ? Installer le modèle open source Kimi K3 en « local » c’est faisable ? Non… Et en louant des GPU pour rester maître de ses données ? En théorie, oui… mais la facture risque de vous faire mal au porte-monnaie avec plus de 1 000 euros… par jour.

C’est donc aujourd’hui que Moonshot AI publie les poids de son dernier modèle Kimi K3, avec pas moins de 2 800 milliards de paramètres. Il est donc possible de l’installer et de l’utiliser en local ou bien sur une machine louée. Vous pouvez rester maître de vos données et prompts, sans passer par les serveurs de l’entreprise.

Kimi K3 : ce qu’il faut savoir du modèle open source de 2 800 milliards de paramètres

Est-ce facile à déployer sur une machine ? Réponse simple : non. Quelles sont les performances ? Excellentes… pour vider rapidement votre porte-monnaie. Cela mérite des explications.

Le point crucial est la mémoire. Pour utiliser dans de bonnes conditions un modèle, il faut pouvoir charger ses paramètres en mémoire – idéalement dans celle du GPU, même s’on peut envisager de composer aussi avec celle du CPU au prix de performances moindres. Les paramètres, ce sont les poids des neurones. À la place des poids, on peut aussi parler des nombres.

Avec un modèle aussi gros, louer des instances GPU pour le faire tourner nous couterait plusieurs dizaines de milliers d’euros par mois, comme nous allons le voir.

Il reste 76% de l'article à découvrir.Vous devez être abonné•e pour lire la suite de cet article.Déjà abonné•e ? Générez une clé RSS dans votre profil.