Le groupe Meta annonce le lancement de Llama 3.1 qui est présenté comme son plus grand modèle d'IA open source à ce jour. Ce grand modèle de langage est disponible dans des versions avec 8 milliards, 70 milliards et 405 milliards de paramètres (8B, 70B et 405B).
La star est évidemment Llama 3.1 405B. Selon Meta, il s'agit du premier modèle disponible en libre accès qui rivalise avec les meilleurs modèles d'IA en matière de capacités de pointe dans des domaines comme la connaissance générale, les mathématiques, l'utilisation d'outils ou encore la traduction multilingue.
Sur plusieurs benchmarks (mais pas tous), Llama 3.1 dépasse GPT-4o d'OpenAI et Claude 3.5 Sonnet d'Anthropic. Les comparaisons faites par Meta sont encore plus flatteuses par rapport à des modèles plus petits ayant un nombre similaire de paramètres (avec Llama 3.1 8B et Llama 3.1 70B).
En chantre de l'open source
Llama 3.1 405B a été entraîné sur plus de 15 000 milliards de tokens et grâce à plus de 16 000 GPU H100. En conséquence, et compte tenu du prix de telles puces de Nvidia, son coût de développement est particulièrement élevé et pourrait être de l'ordre de centaines de millions de dollars.
En dépit de ce coût, Mark Zuckerberg, le patron et fondateur de Meta, défend l'approche open source adoptée et fait un parallèle avec Linux. " Aujourd'hui, Linux est la base standard de l'industrie pour le cloud computing et les systèmes d'exploitation faisant fonctionner la plupart des appareils mobiles. Nous bénéficions tous de produits de qualité supérieure grâce à cela. "
Les développeurs ont la possibilité de télécharger Llama 3.1 sur llama.meta.com, en plus d'une mise à disposition sur Hugging Face. Pour le commun des utilisateurs, Llama 3.1 sera accessible via le chatbot Meta AI et WhatsApp aux États-Unis, puis ultérieurement Facebook et Instagram.
Meta rappelle au passage la disponibilité de Meta AI sur les lunettes connectées Ray-Ban Meta et un déploiement à venir sur Meta Quest (un mode expérimental aux USA et au Canada). Le problème est que pour le moment, Meta AI se refuse à l'Europe, même s'il parle maintenant plus de langues, dont le français.
Juste un début pour Meta
" Bien qu'il s'agisse de notre plus grand modèle à ce jour, nous pensons qu'il y a encore beaucoup de nouvelles pistes à explorer à l'avenir, notamment des tailles plus adaptées aux appareils, des modalités supplémentaires et davantage d'investissements au niveau de la plateforme d'agents ", écrit Meta pour Llama 3.1.
Évidemment, Meta trouve son propre intérêt avec Llama 3.1 et autres. L'intégration au sein de ses diverses plateformes décuple les possibilités et l'engagement des utilisateurs, avec à la clé des revenus publicitaires.
