EN DIRECT en ligne connexion / inscription
Connexion

Surnom/Pseudo
Mot de Passe :

[ Vous avez perdu votre mot de pass ? | Devenir membre ]

×

Réalisation d'un serveur IA avec RTX 5090 & AMD Epyc , page 3

Aller à la page :   12345678  
CowcotLand topic RSS feed Surveiller les réponses de ce sujet
GinKamui @
Agriculteur
Agriculteur

1605pts

Inscrit le: 07 mai 2018
Age: 47
Messages: 774

Navigateur : Firefox

Hors ligne
Message Posté le: 07 novembre 2025 à 11:52  Lien permanent
Répondre en citant
Bah mon cochon ! C'est une sacrée bête dites moi !
Pas facile à élever tout ça ! 😊


Voir le profil de l'utilisateur Envoyer un message privé
cordobaseb @
Métayer
Métayer

2749pts

Inscrit le: 18 décembre 2018
Age: 47
Messages: 1751

Navigateur : n.c.

Hors ligne
Message Posté le: 07 novembre 2025 à 13:23  Lien permanent
Répondre en citant
Vivement les premiers essais 😁
Voir le profil de l'utilisateur Envoyer un message privé
Sphx @
Métayer
Métayer

3444pts

Inscrit le: 23 août 2019
Age: 34
Messages: 1551
Localisation: Seine et Marne
Navigateur : n.c.

Hors ligne
Message Posté le: 07 novembre 2025 à 15:46  Lien permanent
Répondre en citant
attache bien la baie , quand tu vas démarrer, ça va décoller 😂

Belle bête !


R 9600x - MAG B650 TOMAHAWK WIFI - Gigabyte AORUS GeForce RTX 5080 MASTER 16G - Kingston 2x16 Go 6400 MHz - DRP5 - 2To Nvme Samsung 970EVO - Corsair 5000D Airflow - Corsair RM1000x SHIFT 80+Gold
Voir le profil de l'utilisateur Envoyer un message privé
OMGimag33k @
Métayer
Métayer

3560pts

Inscrit le: 25 septembre 2018
Messages: 1615

Navigateur : n.c.

Hors ligne
Message Posté le: 07 novembre 2025 à 18:32  Lien permanent
Répondre en citant
J'ai encore bidouillé le rack aujourd'hui, au programme swap de l'onduleur APC SMT 750 pour un APC SMT1500i plus costaud. Le 750 est passé sur mon PC, c'est peut-être un peu light mais pour de la bureautique et du gaming tranquille ça passe. Normalement je dois pouvoir terminer et booter la bête lundi 😁


Voir le profil de l'utilisateur Envoyer un message privé » Album Photos
OMGimag33k @
Métayer
Métayer

3560pts

Inscrit le: 25 septembre 2018
Messages: 1615

Navigateur : n.c.

Hors ligne
Message Posté le: 10 novembre 2025 à 19:15  Lien permanent
Répondre en citant
Bonjour,

Le livreur UPS est passé samedi, j'ai donc pu travailler un peu sur le serveur ce week-end, ça avance tranquillement.

Pour commencer, montage des NVMe:











Installation de l'alimentation et des ventilos, voici un serveur prêt:



C'est parti:



Je découvre la nouvelle interface BMC de Supermicro:



Pour commencer, mise à jour BMC & BIOS avec les dernières versions:



Maintenant que tout a l'air OK côté IPMI, démarrage de la bête afin de faire un petit tour dans le BIOS.

Ce schéma sera utile:



On y voit que le PCIe slot 5 (Hyper M.2 x16 Gen5) est désigné J5 CPU P3.
Pour que les NVMe fonctionnent, il faut activer la bifurcation x4x4x4x4 ici:



Après quelques réglages dans le BIOS, installation de Proxmox:



Il faut ensuite configurer le passtrough PCIe pour la carte graphique, le but est de blacklister les drivers pour éviter qu'elle soit chargée par la machine hôte afin de pouvoir l'attribuer à une machine virtuelle par la suite. Ce tuto contient plein d'infos utiles: [TUTORIAL] 2025: Proxmox PCIe / GPU Passthrough with NVIDIA. Par la suite, j'ai pu me débarasser d'une erreur code43 en modifiant la config de la machine virtuelle.

Il faut configurer le storage, j'ai simplement fait un pool de test mais par la suite je vais devoir tester les perfs en allouant un/ plusieurs NVMe en direct sur une VM ou avec un pool ZFS/BTRFS.

Ensuite, on s'assure que les interfaces réseau sont OK, j'utilise un port Gigabit pour Proxmox et un port 10 Gb pour la VM:



Heureusement les drivers Mellanox ConnectX-4 sont parfaitement compatibles et la carte réseau fonctionne directement.

Il est maintenant temps de configurer une VM Windows 10 pour faire quelques tests, en lui attribuant le GPU. Pour mémoire, voici une config fonctionnelle:



On voit que je n'ai pas alloué tous les cores à la VM, c'est normal il faut toujours laisser 1 ou 2 cores pour l'hyperviseur. En laissant 3 cores à Proxmox, j'ai un load average autour de 1.2 donc c'est nickel:



Je peux même gratter 1 core si besoin en fait.

Le truc sympa, c'est de pouvoir lancer GPU-Z et CPU-Z dans une VM. La RTX 5090 est parfaitement reconnue:





Après avoir fait quelques benchs sur CPU-Z et une courte séquence de Furmak, je vois que ça chauffe beaucoup, la 5090 consomme réellement 575W en full load, c'est juste énorme. Il faut améliorer le flux d'air, car les 3 composants côte à côte créent une zone chaude au niveau ou le ventilateur de la RTX 5090 souffle sur la carte Hyper M.2 en chauffant la carte réseau au passage.

Je sors le boitier du rack et je fais quelques modifs.

- ajout d'un ventilo 80mm 41 CFM pour extraire l'air au niveau de la zone chaude
- ajout d'un second ventilo 120mm sur le front panel côté droit pour envoyer un peu plus d'air frais
- modification de la gestion des ventilos comme suit:

carte mère
fan2 ventirad cpu
fan3 ventilo 80 arrière droit

branché en permanent via molex ventilo 80 arrière droit

greensaving
fan1 front panel gauche
fan2 front panel droit
fan3 ventilo 80 au dessus de la carte graphique

La gestion de la ventilation Supermicro via IPMI est toujours aussi catastrophique que sur les précédentes versions, rien n'est prévu dans l'interface pour définir des seuils de température ou des vitesses de rotation min et max pour les ventilos. Tout est déjà préréglé avec des valeurs typiques de ventilos serveur mais ça ne correspond pas forcément bien avec mes modèles de ventilos donc plutôt que de me prendre la tête sur Ipmitool avec des commandes du type

Code:
ipmitool -I lanplus -H IP-serveur -U ADMIN -P password sensor


J'utilise simplement les fonctions GreenSaving du boitier, et son petit module permettant de piloter jusqu'à 4 ventilos 3 pins avec une sonde de température que je positionne en plein dans la zone chaude, entre la carte réseau et la Hyper M.2. En plus, on peut configurer un seuil de déclenchement différent pour chaque ventilo, c'est parfait.



Le serveur avec la ventilation modifiée:



C'est parti, prêt à enfourner:



Maintenant le Furmark est OK, le GPU est autour de 80°C, ce qui est une valeur normale pour une 5090 FE en charge:



En testant ComfyUI, on voit que la carte réseau fonctionne bien, ça dépote:



Un petit test IA, le prompt a été généré avec gpt-oss 120b sous Ollama et l'image avec Qwen-image sous ComfyUI:



Maintenant je vais pouvoir faire des tests plus avancés, et ensuite faire une VM Ubuntu pour essayer d'autres tools 😁


Voir le profil de l'utilisateur Envoyer un message privé » Album Photos
cordobaseb @
Métayer
Métayer

2749pts

Inscrit le: 18 décembre 2018
Age: 47
Messages: 1751

Navigateur : n.c.

Hors ligne
Message Posté le: 10 novembre 2025 à 21:09  Lien permanent
Répondre en citant
Alors là chapeau 💪💪👍🏻👍🏻👍🏻👍🏻😁😁😁 sacrée bestiole et très bien vu pour la zone chaude 😜
Hâte de voir ce que ça va donner une fois tout bien paramétrer.
Voir le profil de l'utilisateur Envoyer un message privé
Mick996 @
Métayer
Métayer

4624pts

Inscrit le: 12 avril 2018
Messages: 3374
Localisation: Brest
Navigateur : Firefox

Hors ligne
Message Posté le: 11 novembre 2025 à 09:30  Lien permanent
Répondre en citant
Wow tu viens de créer un monstre 😍
La taille du proco bordel !!

Maintenant lève la main droite et promets nous d'utiliser cette puissance pour faire le bien, sinon dans le futur on sera obligé de t'envoyer Kyle Reese t'empêcher de monter cette abomination 😂



"Because I was inverted"
Voir le profil de l'utilisateur Envoyer un message privé Visiter le site web du posteur » Album Photos
OMGimag33k @
Métayer
Métayer

3560pts

Inscrit le: 25 septembre 2018
Messages: 1615

Navigateur : n.c.

Hors ligne
Message Posté le: 11 novembre 2025 à 15:10  Lien permanent
Répondre en citant


Avec un peu de bol Skynet nous fichera la paix 😂


Voir le profil de l'utilisateur Envoyer un message privé » Album Photos
mini-pouce @
Eleveur bovin
Eleveur bovin

30230pts

Inscrit le: 15 mai 2011
Messages: 11430

Navigateur : Firefox

Hors ligne
Message Posté le: 11 novembre 2025 à 18:36  Lien permanent
Répondre en citant
T'as été tellement plus rapide que moi.
Je voulais recyclé un T7920 en panne, soucis d'approvisionnement aussi puis le machin est tellement capricieux que j'ai à peine booté il y a deux semaines et pas pu installer un système propre depuis.

Tu as prévu de nous donner quelques infos sur ta stack logiciels, par exemple ici ton paramétrage du flow comfy ?

Je n'ai pas encore tout lu, je lirais progressivement.
La ventilation dans les serveur... ça ventile quoi. ^^


Si j'avance, suivez-moiSi je meurs, vengez-moiSi je recule, tuez-moi
Voir le profil de l'utilisateur Envoyer un message privé » Album Photos » Google Map
YoNeL @
Producteur laitier
Producteur laitier

11174pts

Inscrit le: 13 août 2020
Messages: 2428

Navigateur : n.c.

Hors ligne
Message Posté le: 12 novembre 2025 à 08:10  Lien permanent
Répondre en citant
oh punaise ComfyUI c'est ce que j'ai essayé de faire marcher chez moi ... mais faut installer pas mal de dépendance non ? Python ? et d'autres outils ... J'ai Qwen mais pas image, j'ai le coder et celui qui raisonne 😆 Tu as utiliser un tuto ou ya tout dans un pack ? (j'ai pas encore chercher comment l'installer)

Je me suis amusé à trouver des "system prompt" pour que l'IA joue un rôle, et c'est plutôt marrant, j'ai trouvé l'appli Tavo sur Android qui permet de me connecter à mon LM Studio et de télécharger des cartes de personnage, bien marrant 😆
Voir le profil de l'utilisateur Envoyer un message privé
OMGimag33k @
Métayer
Métayer

3560pts

Inscrit le: 25 septembre 2018
Messages: 1615

Navigateur : n.c.

Hors ligne
Message Posté le: 12 novembre 2025 à 10:28  Lien permanent
Répondre en citant
Salut,

J'ai testé ComfyUI de base, et un workflow json trouvé ici histoire de me faire une idée des perfs de la machine, j'ai aussi essayé quelques modèles Ollama comme gpt-oss 120b ou deepseek-r1 70b. Je n'ai même pas encore lancé LM Studio.

Pour l'instant je suis plus dans des trucs de base hors IA:

- améliorer le flux de ventilation, en abaissant le serveur de 2 U pour mettre un cache ventilé 2U juste au dessus, éventuellement upgrade les ventilos pour des Noctua NF-F12 industrialPPC-2000 ou Arctic P12 Pro / S12038-4K et peut-être aussi les 2 80 à l'arrière du boitier
- peaufiner les réglages du BIOS
- optimiser les réglages Proxmox
- tester les performances sur différents types de pools & formats de fichiers
- tester différents paramètres de VM, j'ai seulement capté hier que sur Proxmox les cores VM correspondent en fait aux threads du CPU physique, donc je peux en allouer jusqu'à 48 à une VM et pas 24... (moins les cores à conserver pour l'hyperviseur)
- préparer des templates de VM préconfigurées pouvant être déployées en 2 clics

Et quand toute cette partie sera OK je vais pouvoir avancer sur les tests IA. Je découvre la plateforme et je ne connais pas encore bien Proxmox, ça va prendre du temps 😆


Voir le profil de l'utilisateur Envoyer un message privé » Album Photos
funkydata @
Métayer
Métayer

4934pts

Inscrit le: 12 septembre 2014
Messages: 3181

Navigateur : n.c.

Hors ligne
Message Posté le: 12 novembre 2025 à 11:51  Lien permanent
Répondre en citant
Belle bête 😍 Il me faudrait ça... avec une seconde 5090 tant qu'à faire 😅 Le doux rêve du particulier vu le prix.

Oui ComfyUI il y a beaucoup de dépendances :
python évidemment et :
torch, torchvision, torchaudio, numpy, einops, transformers, tokenizers, sentencepiece, safetensors, aiohttp, yarl, pyyaml, Pillow, scipy, tqdm, psutil et d'autres optionels dépendant de ce que tu veux faire plus tous les modèles, VAE, CLIP pour générer des trucs. Mais il est facile à installer.

Sinon je l'utilise depuis 2 ans environ et c'est... hum, disons que dans le principe c'est super mais dans l'exécution c'est franchement décevant.

Déjà c'est buggé a mooooooooooooort. J'ai rarement vu un soft avec des bugs aussi gros aussi longtemps. Et c'est des bugs fonctionnels vraiment très problématiques, on apprend à vivre avec mais c'est violent.
Après, décider de se baser sur un système de noeud c'est super, mais sans noeud d'exécution ?! WHAT ?! 😮 Je ne sais pas qui c'est dit que ce serait une bonne idée mais ça n'a jamais fonctionné avant et ça ne fonctionne pas plus ici. Ajoutez à ça le bordel au niveau des noeuds avec 75 noeuds pour faire la même chose ou 10 noeuds nécessaires pour des opérations très simples, bref, c'est quand même pas mal le foutoir. 😅
Ils auraient dû s'inspirer, voir copier, le node graph de Blender ou d'Unreal par exemple qui sont quand même d'un tout autre niveau.
Mais bon, on fait avec, pas trop le choix, mais c'est clairement du je t'aime moi non plus.

En tout cas amuse toi bien avec ce beau jouet 😂
Voir le profil de l'utilisateur Envoyer un message privé
mini-pouce @
Eleveur bovin
Eleveur bovin

30230pts

Inscrit le: 15 mai 2011
Messages: 11430

Navigateur : Firefox

Hors ligne
Message Posté le: 12 novembre 2025 à 18:37  Lien permanent
Répondre en citant
funkydata a écrit:

Après, décider de se baser sur un système de noeud c'est super, mais sans noeud d'exécution ?! WHAT ?! 😮 Je ne sais pas qui c'est dit que ce serait une bonne idée mais ça n'a jamais fonctionné avant et ça ne fonctionne pas plus ici. Ajoutez à ça le bordel au niveau des noeuds avec 75 noeuds pour faire la même chose ou 10 noeuds nécessaires pour des opérations très simples, bref, c'est quand même pas mal le foutoir. 😅
Ils auraient dû s'inspirer, voir copier, le node graph de Blender ou d'Unreal par exemple qui sont quand même d'un tout autre niveau.
Mais bon, on fait avec, pas trop le choix, mais c'est clairement du je t'aime moi non plus.


Sans être à ce niveau de technicité, c'est clairement ce qui m'a rebuté à l'utiliser.
Un beau nœud de sac de dépendances, puis un beau nœud de sac de config pour quelque chose qui sera dépassé lorsque j'aurais enfin fini d'installer et compris comment l'utiliser. Mort de rire

Après bien sûr on peut l'utiliser en copiant/collant des trucs du net, mais ce n'est pas mon délire.
Je fais surtout ça pour comprendre plus que pour utiliser.


Si j'avance, suivez-moiSi je meurs, vengez-moiSi je recule, tuez-moi
Voir le profil de l'utilisateur Envoyer un message privé » Album Photos » Google Map
funkydata @
Métayer
Métayer

4934pts

Inscrit le: 12 septembre 2014
Messages: 3181

Navigateur : n.c.

Hors ligne
Message Posté le: 13 novembre 2025 à 12:57  Lien permanent
Répondre en citant
@mini-pouce C'est certain. Et je te rejoins sur le fait que tu n'utilises pas une interface de ce genre pour juste faire mumuse en copie-collant des graphs de l'espace chopés sur le net 😆 Aucun intérêt. D'autant qu'il y a d'autres interfaces 100x plus user friendly à tous les niveaux qui font déjà beaucoup.

Evidemment quand tu montes ce genre de bécane c'est que tu touches quand même techniquement et là ComfyUI, malgré tous ses défauts, n'a pas encore de concurrents pour ce qui est du visuel : images, textures, upscale, vidéos...
La majorité des concurrents sont en fait des plateformes online qui te propose une interface surtout dans le but de te facturer la puissance GPU, donc essentiellement des solutions non locales.

Pour les LLM c'est assez différents avec bien plus de concurrence et open source qui plus est. 😉
Voir le profil de l'utilisateur Envoyer un message privé
OMGimag33k @
Métayer
Métayer

3560pts

Inscrit le: 25 septembre 2018
Messages: 1615

Navigateur : n.c.

Hors ligne
Message Posté le: 02 décembre 2025 à 21:47  Lien permanent
Répondre en citant
Salut les fermiers,

Petites news du serveur IA:

- Je pensais pouvoir ajouter 2 sticks de RAM, il y en avait 2 dispos chez un fournisseur à tarif encore "raisonnable", peu après avoir validé la commande l'un des 2 a été annulé et comme ça se monte par 2 sur une carte mère serveur je leur ai dit que je ne voulais pas de RAM à l'unité. Bon maintenant les prix de la RAM sont juste de plus en plus dingues donc chaud d'en trouver, je continue de chercher.

- Côté ventilation, j'ai monté un SilverStone FHS 120X en façade et 2 ARCTIC P8 Max à l'arrière du boitier. Le FHS 120X est juste monstrueux, ça fait un bruit de réacteur d'avion encore pire que les 2 ventilos d'extraction 220V en haut du rack, mais ça refroidit très très fort. En plus j'ai abaissé le serveur et mis un panneau 2U ventilé au dessus donc niveau flux d'air c'est tout bon maintenant ça ne chauffe vraiment plus.

- J'avance doucement sur les tests IA, là je fais des bench en comparant différents modèles text to image et en analysant les résultats sur la base de prompts identiques: temps de génération, qualité d'image, fidélité au prompt . Je suis assez impressionné par FLUX.2 [dev] qui vient de sortir, je continue les tests mais j'ai l'impression que ce modèle surpasse vraiment tous les autres actuellement y compris le top classement sur imgsys et Qwen image. J'étais fan de Reve Image (Halfmoon) mais il est payant, le nouveau Flux 2 a l'air mieux en fait.

- Pour les LLMs les 2 plus efficaces pour l'instant sont gpt-oss 120b et deepseek-r1 70b, en tout cas ce sont les 2 plus polyvalents mais je dois poursuivre les tests pour trouver ce qui fonctionne le mieux selon les usages en rédaction de texte et en recherche d'informations sur le web. La partie veille / search est la plus délicate, il faut vraiment être super carré dans les prompts sinon le modèle part dans tous les sens.

- Le serveur fonctionne très bien, c'est vraiment puissant mais si c'était à refaire je m'orienterais peut-être plus vers une plateforme Threadripper compte tenu des problématiques actuelles concernant la RAM serveur. En tout cas je peux générer des images et faire tourner un LLM en même temps, avec un peu d'offloading ça passe nickel, il me faudrait juste une paire de sticks de RAM en plus et ça serait parfait.


Voir le profil de l'utilisateur Envoyer un message privé » Album Photos
Aller à la page :   12345678  
Sauter vers: 
Surveiller les réponses de ce sujet CowcotLand topic RSS feed  

Vous ne pouvez pas poster de nouveaux sujets dans ce forum
Vous ne pouvez pas répondre aux sujets dans ce forum
Vous ne pouvez pas éditer vos messages dans ce forum
Vous ne pouvez pas supprimer vos messages dans ce forum
Vous ne pouvez pas voter dans les sondages de ce forum


Sujets similaires

Sujet Auteur Forum Réponses Posté le
Pas de nouveau message [EST] RTX 3090 Ventus 3X 24G OC Ghandy582 Estimations 4 29 mai 2026 à 09:04
Pas de nouveau message [Problème] Serveur Local Dédié - Enshrouded Dwarfcherry GameLand 33 27 mai 2026 à 15:07
Pas de nouveau message Test ASUS ProArt GeForce RTX 5090 OC Edition : sobriété U... jonh Cartes Graphiques 0 21 mai 2026 à 09:30
Pas de nouveau message Test MSI GeForce RTX 5090 32G LIGHTNING Z : exceptionnell... jonh Cartes Graphiques 0 18 mai 2026 à 13:21
Pas de nouveau message Forza Horizon 6 : bilan des performances avec 14 cartes jonh Cartes Graphiques 0 14 mai 2026 à 12:00