EN DIRECT en ligne connexion / inscription
Connexion

Surnom/Pseudo
Mot de Passe :

[ Vous avez perdu votre mot de pass ? | Devenir membre ]

×

[Build log] Réalisation d'un NAS homemade (Xeon E3, 12 HDD)

CowcotLand topic RSS feed Surveiller les réponses de ce sujet
OMGimag33k @
Métayer
Métayer

3286pts

Inscrit le: 25 septembre 2018
Messages: 1507

Navigateur : n.c.

Hors ligne
Message Posté le: 26 juin 2019 à 00:34  Lien permanent
Répondre en citant
Bonjour,

J'ai enfin terminé le montage et la configuration de mon serveur NAS homemade, je viens donc partager ça avec le forum. La config est la suivante:

- Xeon E3-1245 v5
- ventirad noctua NH-L9i avec ventilo upgradé pour un NF-B9 redux-1600 PWM
- 32GB de DDR4 ECC UDIMM 2133 MHz
- carte mère ASRock C236 WSI mini ITX (SATA X8 )
- alim Flex ATX Seasonic 250W SS-250SU
- carte controleur PCIe SAS LSI HP H220 (SATA X8 ) en IT mode
- boitier rackable 19 2U faible profondeur avec ventilo upgradé pour un Noctua NF-R8 redux-1800
- double backplane / cage Icy Dock MB322SP-B
- emplacements pour 12 HDD (4 X 3.5 et 8 X 2.5)

Mon besoin était le suivant: je recherchais un serveur NAS rackable pour l'installer dans mon coffret 19, en 1U ou 2U, avec une profondeur maxi de 35 cm environ. Il me fallait un NAS assez costaud pour supporter une utilisation pro et perso: serveur FTP pour des backups depuis des serveurs distants, stockage de données persos pour utilisation en multimédia avec Kodi et / ou Plex, enregistrement de flux RTSP des caméras, support de machines virtuelles, RAID ou équivalent pour la sécurité des données en cas de défaillance d'un disque... J'avais repéré le dernier Synology d'entrée de gamme, le RS819, mais à 650€ sans les disques je trouvais ça un peu cher pour du hardware en fin de compte assez peu puissant et pas évolutif.

En faisant des recherches, je suis tombé sur un boitier qui semblait avoir les dimensions idéales pour mon utilisation, le G2250:



Il peut contenir une config sur base de carte mère mini ITX, et il y a de la place pour 2 X HDD 3.5 et 4 X HDD 2.5 plus 2 baies 5.25. En montant des cages Icy dock dans les baies, ça peut en théorie donner quelque chose de vraiment pas mal. En vérifiant les dimensions, ça doit pouvoir rentrer, juste mais ça doit passer.

Pour la carte mère, j'ai opté pour le modèle C236 WSI d'Asrock Rack. Ce modèle orienté serveur a 8 ports SATA, ce qui est déja pas mal. En ajoutant un controleur PCIe SAS via un riser, ça devrait le faire pour ajouter jusqu'à 8 ports SATA supplémentaires, donc les 12 HDD pourront être pris en charge.

Niveau CPU, j'ai opté pour le Xeon E3-1245 v5. Il me fallait quelque chose de puissant, et avec un iGPU puisque je comptais utiliser le seul port PCIe pour mon controleur SAS. Il fallait donc un Xeon avec terminaison en 5 (avec iGPU). J'ai pu trouver une affaire sympa sur un lot CPU + 2 X 16 GB de RAM ECC UDIMM en occasion .

Coté OS, j'ai choisi FreeNAS. Il m'a semblé plus abouti et plus pro qu'OpenMediaVault. Ils ne font pas que développer un OS pour NAS, ils commercialisent des NAS professionnels qui tournent avec leur software, c'est quand même un gage de sérieux.

Pour les disques, j'ai choisi la config suivante:

- 4 X Toshiba 3.5 3 TB en raidz, 7 X 2.5 1 TB en raidz et 1 SSD pour l'OS. J'aurais pu mettre 1 HDD 2.5 de plus, et le système sur une clé USB mais bon un OS sur clé USB je n'ai pas confiance sur le long terme, la clé finit toujours par claquer. J'avais un SSD Intel 80 Go qui trainait et qui ira très bien. Niveau sécurité, les données ne seront pas affectées par la panne d'un disque 3.5 et / ou la panne d'un disque 2.5, et le système de fichiers ZFS a fait ses preuves. Avec de la RAM ECC et un onduleur, j'ai tout ce qu'il faut pour assurer l'intégrité de mes données.

C'est parti pour le montage.

La cage arrière avec 4 X 2.5 1 TB:



La carte mère avec le CPU et la RAM en place:



La place étant limitée dans le boitier, j'ai opté pour un ventirad low profile, le noctua NH-L9i qui est impeccable pour une carte mère mini ITX. Par contre, je n'avais pas nécessairement besoin d'un ventilateur low profile, il me restait un peu de place en hauteur donc j'ai monté un ventilateur plus épais et plus performant, le NF-B9 redux-1600 PWM:



La cage de gauche, avec 2 X 3.5 3 TB:



Là j'ai du adapter, car les vis fournies étaient trop hautes, donc j'ai du mettre des vis moins hautes d'un coté. C'est au millimètre:



La base est en place:



Le montage des 2 baies 5.25, avec 2 X 3.5 3 TB plus 3 X 2.5 1 TB et 1 X 2.5 SSD:



Avec les cables SATA, ça risque d'être juste:



Le montage avance:



On voit que c'est assez tendu pour le passage des cables:



J'ai du tricher et souder des doubleurs d'alimentation SATA entre la cage à l'arrière droit et les baies 5.25, histoire de limiter le nombre de prises. Au final, j'ai pu rentrer l'alimentation, la carte PCIe SAS avec son riser et tous les cablages:





Le détail du controleur SAS, au dessus des 2 disques 3.5:



Pas évident de trouver de la place pour tout ce cablage:





Aucun souci au boot:



Le controleur SAS est bien reconnu:



Et les 4 disques SATA supplémentaires sont pris en charge:



Le ventilateur frontal du boitier a été remplacé par un Noctua NF-R8 redux-1800, plus performant:



L'arrière du boitier:



Le serveur est fonctionnel:



Tout est configuré, le serveur a trouvé sa place dans le rack:



L'interface de FreeNAS, tout est OK:



Les 12 disques sont reconnus et pleinement fonctionnels:



Les performances sont assez phénoménales, le serveur sature le réseau Gigabit aussi bien en lecture qu'en écriture, même sur le pool des petits disques 2.5:



Le CPU ne bronche pas lors des transferts de fichiers, ce serveur a de la puissance à revendre!

Lorsque j'ai configuré et testé le serveur, je me suis rendu compte qu'avec tous les composants, il n'était pas possible de mettre le capot supérieur. Techniquement, je peux le monter, tous les cablages sont mis en place proprement et ça passe mais quand il est en place l'air circule mal, et ça chauffe beaucoup trop au niveau du controleur SAS et du disque juste en dessous, ainsi qu'en haut des baies 5.25. J'ai donc monté le serveur sans le capot supérieur afin d'assurer une meilleure circulation de l'air.

Il est monté juste en dessous d'un controleur Ubiquiti dont le support n'est pas très large, et juste au dessus j'avais installé 2 ventilateurs de 120mm avec un interrupteur 5V/12V pour assurer la ventilation du coffret et le refroidissement du controleur. Du coup les ventilos sont juste au dessus des zones les plus chaudes du serveur et assurent efficacement son refroidisement même avec les températures élevées en ce moment.

Mais clairement, ce boitier n'est pas fait pour y installer autant de disques en le laissant fermé, il faut faire circuler de l'air frais.

Il y a un truc sympa avec le boitier, c'est la possibilité de piloter jusqu'à 4 ventilateurs qui peuvent se déclencher à des températures que l'on définit. J'ai configuré le pilotage des ventilos par la carte mère, mais j'utilise la sonde du boitier pour afficher la température interne sur l'écran en façade, ça permet de visualiser simplement si tout va bien ou si je dois passer la ventilation du boitier en vitesse maxi. Je vais voir pour ajouter un ventilo en aspiration d'air frais en bas du coffret, ça devrait pouvoir aider un peu aussi.

Voila pour la présentation de ce petit serveur home made sous FreeNAS, avec 12 disques dans un encombrement ultra réduit Très content


Voir le profil de l'utilisateur Envoyer un message privé » Album Photos
rimaille @
Cultivateur
Cultivateur

1141pts

Inscrit le: 16 septembre 2011
Age: 44
Messages: 782
Localisation: Sisteron
Navigateur : n.c.

Hors ligne
Message Posté le: 26 juin 2019 à 06:34  Lien permanent
Répondre en citant
Très mignon ton NAS =)
Je me posais des questions sur un potentiel manque de ventilation à la lecture de ton buildlog, et je vois ensuite en conclusion que c'est un problème effectivement. Il n'y a qu'un ventilateur en façade, le ventirad et celui de l'alim - en plus des 2x12 placés sur l'emplacement rack du dessus-?
Sinon pourquoi avoir opté sur une install sur ssd et pas sur clé usb nano ? (ça te libèrerait un emplacement 2"1/2 étant donné la "faible" place dont tu disposes)
Et dernière question : tu utilises le raid logiciel ou matériel ? (notamment pour les disques plugués sur la carte controleur sata pcie, j'ai pas regardé si ta carte mère intégrait du raid matériel) Si matériel, pense bien à acheter une deuxième carte de spare car si defaillance de ton controleur raid tu seras bien content de l'avoir pour récup tes données... (vécu dans une ancienne boite sur un vieux serveur, impossible de retrouver le même contrôleur raid, on a fini par trouver sur ebay à l'étranger, pour cette raison je préfère toujours faire du raid software)

edit : rien à voir avec la choucroute, mais je vois que tu as une vieille freebox encore, si ton dslam est équipé en vdsl et que ça t'intéresserait de pouvoir synchro en vdsl, il est possible de le faire avec un modem third party comme le TP-Link TD-W9970 par ex, free ne bride pas ses lignes en fonction de ton abo/box.
Voir le profil de l'utilisateur Envoyer un message privé
OMGimag33k @
Métayer
Métayer

3286pts

Inscrit le: 25 septembre 2018
Messages: 1507

Navigateur : n.c.

Hors ligne
Message Posté le: 26 juin 2019 à 17:42  Lien permanent
Répondre en citant
Bonjour,

Oui c'est ça niveau ventilation il y a le 80x80x25 frontal, le 92x92x25 du CPU et le petit 40x40x20 de l'alim que j'ai laissé stock. C'est un peu juste compte tenu de tous les composants installés dans le boitier, mais en mettant de meilleurs ventilos et en ne montant pas le capot supérieur, avec les 2 120mm du dessus qui tombent pile poil ou il faut ça le fait bien. Même avec la canicule actuelle, les températures restent assez correctes. Je me pose juste la question d'ajouter un ventilo en bas du coffret pour une meilleure aspiration d'air frais vu que je commence à avoir pas mal de matos là dedans, et comme je compte aussi upgrade le switch PoE pour un 16 ports 150W et mettre un Pi pour la domotique ça va chauffer encore plus...

J'ai opté pour une installation sur SSD car la clé USB ne me semblait pas assez fiable sur le long terme pour l'OS, et puis j'avais déja le SSD. J'ai aussi essayé de limiter les frais pour le cout des HDDs, sur les 7 2.5 1 To j'en ai acheté 5 et récupéré 2 de mon stock. L'un était tout neuf, enlevé d'un NVR qui avait été upgradé en 2 To, et l'autre était en stockage sur un vieux laptop qui ne servait plus. Là j'ai déja assez de stockage pour tenir quelques années, et quand je devrais augmenter le volume de stockage je verrais ce qui est le plus intéressant financièrement: upgrade les 4 X 3.5, ou les 7 X 2.5.

Avec RAID-Z, tout le RAID est logiciel et géré directement par l'OS. Il ne faut justement surtout pas ajouter un RAID hardware en plus du RAID software, car c'est une source potentielle de problèmes et de corruption de données. C'est d'ailleurs le premier truc qu'ils expliquent dans le guide: FreeNAS: A Worst Practices Guide. C'est pour cette raison que mon controleur SAS est en IT mode et pas en IR mode, FreeNAS doit avoir un accès direct aux disques sans RAID hardware ni JBOD ni quoi que ce soit.

Mais bon de toute manière si le controleur SAS lache je perds un pool temporairement, le temps de remplacer le controleur. Dès que les disques sont à nouveau reconnus par l'OS je retrouve le pool intact.

Oui tu as vu ma vieille box Très content La fibre est en train d'être tirée partout autour de chez moi, je devrais pouvoir bénéficier du raccordement d'ici quelques semaines ou quelques mois donc je ne vais pas faire de modifs à ce niveau car une connexion bien meilleure sera bientot en place Cool


Voir le profil de l'utilisateur Envoyer un message privé » Album Photos
Sauter vers: 
Surveiller les réponses de ce sujet CowcotLand topic RSS feed  

Vous ne pouvez pas poster de nouveaux sujets dans ce forum
Vous ne pouvez pas répondre aux sujets dans ce forum
Vous ne pouvez pas éditer vos messages dans ce forum
Vous ne pouvez pas supprimer vos messages dans ce forum
Vous ne pouvez pas voter dans les sondages de ce forum


Sujets similaires

Sujet Auteur Forum Réponses Posté le
Pas de nouveau message projet de build pour mon père... MMK L'atelier 17 18 septembre 2023 à 22:48
Pas de nouveau message Renouvellement config (build itx 7800x3d / 4070FE) Kaptain_K7 L'atelier 79 06 septembre 2023 à 14:05
Pas de nouveau message Build autour du nouveau waterblock Alphacool Core 1 Vanseb Watercooling 1 20 juin 2023 à 14:00
Topic Verrouillé Nouveau build 1440p Sphx L'atelier 47 16 janvier 2023 à 20:24
Pas de nouveau message Build terminé Tawmy Watercooling 12 22 septembre 2022 à 22:26