AMD a partagé sur son blog des guides expliquant étape par étape comment télécharger et exécuter un bot de chat en local sur les PC Ryzen™ AI ou les cartes graphiques Radeon™, activer la RAG (Retrieval Augmented Generation) afin d’améliorer et de fournir un contexte avec un grand modèle de langage (LLM - Large Language Model) ou encore utiliser un LLM local afin de coder en toute confiance.
L’exécution locale de ces applications permet de préserver la confidentialité de vos données sur votre PC équipé d’une puce IA et fonctionne même sans connexion internet.
Pour voir cela se concrétiser, AMD a enregistré des démonstrations de tests de performance mettant en avant les capacités du système Ryzen™ AI dans l’exécution d’applications IA face à la concurrence. Les tests montrent comment Ryzen™ AI surpasse l’Intel Core Ultra 7 dans la génération de contenu – y compris la programmation – avec des vitesses plus rapides sur un chatbot IA LLM.
Les données de performance de Ryzen AI par rapport au Core Ultra 7 155H incluent :
L’exécution locale de ces applications permet de préserver la confidentialité de vos données sur votre PC équipé d’une puce IA et fonctionne même sans connexion internet.
- - Comment exécuter un grand modèle de langage (LLM) sur votre PC AMD Ryzen™ AI ou votre carte graphique Radeon ?
- - Comment activer la RAG (Retrieval Augmented Generation) sur les PC AMD Ryzen™ AI ?
- - Commenter obtenir un assistant IA pour la programmation sur votre PC AMD Ryzen™ AI ?
Pour voir cela se concrétiser, AMD a enregistré des démonstrations de tests de performance mettant en avant les capacités du système Ryzen™ AI dans l’exécution d’applications IA face à la concurrence. Les tests montrent comment Ryzen™ AI surpasse l’Intel Core Ultra 7 dans la génération de contenu – y compris la programmation – avec des vitesses plus rapides sur un chatbot IA LLM.
Les données de performance de Ryzen AI par rapport au Core Ultra 7 155H incluent :
- - Pour les tokens par seconde, Ryzen AI est jusqu'à 17 % plus rapide sur Mistral Instruct et jusqu'à 14 % plus rapide sur LLAMA v2 Chat.
- - En ce qui concerne le temps nécessaire pour obtenir le premier token, Ryzen AI est jusqu'à 41 % plus rapide sur Mistral Instruct et jusqu'à 79 % plus rapide sur LLAMA v2 Chat.
Marque : AMD
Partagez :
Posté le 18 Mars 2024 à 15:56 par Jonathan Riemain