Refroidissement liquide direct : concevoir une infrastructure fiable pour les racks denses

Un rack dense peut encore démarrer comme n’importe quel autre : on le branche, on vérifie les ventilateurs, puis on attend que la température reste dans les limites prévues. La différence apparaît lorsque la puissance thermique devient trop importante pour être évacuée proprement par l’air. À ce moment-là, ajouter des ventilateurs ne règle plus le problème ; cela déplace la contrainte vers le bruit, la consommation électrique, la circulation de l’air et la capacité des équipements de traitement.

Le refroidissement liquide direct répond à cette contrainte en amenant le fluide au plus près des composants chauds, généralement au moyen de plaques froides fixées sur les processeurs ou d’autres éléments dissipant beaucoup de chaleur. Mais cette plaque n’est que le point visible d’une infrastructure plus large. La disponibilité dépend aussi de la CDU, des collecteurs, des raccords, de la qualité du fluide, des capteurs et de la façon dont une équipe peut intervenir sans interrompre les charges.

La bonne question n’est donc pas seulement : « combien de kilowatts ce rack peut-il évacuer ? » Elle est plutôt : que se passe-t-il lorsqu’un débit baisse, qu’un capteur déclenche une alarme, qu’un raccord doit être déconnecté ou qu’une CDU doit être isolée ? C’est à partir de ces situations concrètes qu’il faut évaluer l’architecture.

Commencer par séparer les deux circuits

Les architectures de refroidissement liquide direct s’organisent généralement autour de deux circuits. Le Technology Cooling System, ou TCS, relie la CDU aux manifolds et aux équipements informatiques. Le Facility Water System, ou FWS, correspond au circuit du bâtiment qui évacue la chaleur. Cette séparation n’est pas un détail de vocabulaire : elle définit les responsabilités, les interfaces et les modes de défaillance de l’installation.

La documentation de l’Open Compute Project décrit cette relation entre le TCS, les équipements informatiques et le FWS. Dans cette organisation, la CDU — l’unité de distribution du liquide de refroidissement — joue le rôle d’interface hydraulique. Elle transfère la chaleur entre le circuit technique proche des serveurs et le circuit de l’installation, tout en permettant de contrôler plusieurs paramètres du côté informatique.

Cette isolation du réseau d’eau glacée apporte un avantage opérationnel : le fluide qui circule dans les racks peut être filtré, surveillé et maintenu dans des conditions adaptées aux composants. Le guide technique de Vertiv présente précisément la CDU comme un moyen de contrôler la pression, la température, le débit et la filtration du circuit secondaire. Elle permet aussi de maintenir une température d’alimentation supérieure au point de rosée, afin de réduire le risque de condensation.

Cette dernière précaution mérite d’être prise au sérieux. Un liquide trop froid n’améliore pas automatiquement la fiabilité. Si une surface descend sous le point de rosée de l’air ambiant, de la condensation peut apparaître ; le problème n’est alors plus la capacité d’évacuation de la chaleur, mais la présence d’humidité autour d’équipements électriques. La température du TCS doit donc être pensée avec l’environnement de la salle, les conditions d’humidité et les marges d’exploitation.

La première étape de conception consiste à dessiner les frontières de chaque circuit, puis à attribuer à chaque élément une fonction et un scénario de défaillance. La CDU contrôle-t-elle seulement la température, ou aussi la filtration et la pression ? Le FWS dispose-t-il d’une capacité suffisante lorsque plusieurs CDUs fonctionnent simultanément ? Les vannes permettent-elles d’isoler une branche sans vider toute la boucle ? Tant que ces questions restent implicites, le système n’est pas réellement conçu.

Évaluer la plaque froide comme un échangeur complet

La plaque froide est souvent présentée comme la pièce qui rend le refroidissement liquide possible. Cette formulation est juste, mais incomplète. Elle ne doit pas être évaluée uniquement selon la puissance thermique annoncée par un fournisseur. Dans un rack en production, elle constitue un échangeur soumis en même temps à des contraintes de température, de débit, de perte de charge, de propreté et de compatibilité des matériaux.

L’article consacré aux plaques froides dans l’ASHRAE Journal et les exigences de l’OCP convergent sur ce point. Les microcanaux peuvent améliorer les échanges thermiques, mais ils rendent aussi la propreté du fluide plus critique. Une particule qui ne gênerait pas une canalisation large peut réduire le débit dans un passage étroit, augmenter la perte de charge ou perturber la répartition entre plusieurs plaques.

Le débit ne doit d’ailleurs pas être considéré comme une valeur isolée. Il faut regarder la relation entre le débit disponible, la température d’entrée, la chaleur à évacuer et la perte de charge produite par la plaque froide. Une plaque très performante thermiquement mais difficile à alimenter peut imposer une pompe plus sollicitée, une distribution moins homogène ou des marges plus faibles sur les autres composants de la boucle.

La compatibilité des matériaux appartient au même raisonnement. Le fluide, les métaux, les joints, les flexibles et les raccords forment un ensemble. Une spécification de plaque froide qui ignore cette chaîne peut laisser apparaître plus tard des problèmes de corrosion, de contamination ou de dégradation des joints. Le sujet n’est pas de sélectionner le composant le plus impressionnant sur une fiche technique, mais celui qui reste compatible avec le fluide et les conditions de fonctionnement de toute la boucle.

Pour rendre la comparaison vérifiable, une équipe peut demander au minimum une matrice reliant chaque plaque froide à plusieurs conditions d’exploitation :

• performance thermique : température d’entrée, puissance traitée et marge disponible ;
• hydraulique : débit requis et perte de charge associée ;
• qualité du fluide : niveau de filtration, tolérance aux particules et exigences de propreté ;
• matériaux : compatibilité avec le fluide, les raccords et les éléments d’étanchéité ;
• maintenance : possibilité de remplacer ou d’inspecter l’ensemble sans manipulations disproportionnées.

Cette grille ne remplace pas les essais. Elle évite toutefois de comparer des produits sur une seule métrique thermique, alors que les contraintes les plus pénalisantes peuvent apparaître au niveau du débit, de la filtration ou de la maintenance.

Faire du manifold un point d’exploitation, pas un simple collecteur

Dans un rack dense, le manifold distribue le fluide vers les différents équipements et collecte le retour. Il devient donc le point où l’on rencontre la performance hydraulique, l’accessibilité et la maintenance. La spécification OCP demande qu’il fournisse le débit requis avec une perte de charge maîtrisée et une distribution homogène dans le rack.

Une distribution homogène évite qu’un serveur reçoive un débit favorable tandis qu’un autre, situé sur la même branche, manque de marge thermique. Le dimensionnement doit ainsi considérer l’ensemble des plaques froides raccordées, leurs pertes de charge et les variations possibles de charge. Le manifold n’est pas seulement une pièce qui « répartit l’eau » : il conditionne la stabilité du système lorsque les équipements ne consomment pas tous la même puissance.

Son emplacement est tout aussi important. S’il est placé derrière les serveurs, coincé dans une zone difficile d’accès ou dépendant du retrait de plusieurs équipements, une opération simple peut devenir une intervention longue. Il faut préserver l’accès aux vannes et aux raccords, permettre le retrait des serveurs et garder des dégagements cohérents avec les opérations de câblage et d’alimentation.

Les raccords rapides anti-goutte constituent une autre pièce de cette stratégie. Selon l’OCP, ils coupent le flux aux deux extrémités lors de la déconnexion afin de limiter le risque de liquide sur les équipements informatiques. Cette fonction ne rend pas une intervention sans risque, mais elle réduit la quantité de fluide susceptible de s’échapper lorsqu’un serveur doit être retiré.

La maintenabilité doit être testée dans les conditions réelles, avec les câbles, les alimentations et les accessoires installés. Une procédure qui fonctionne sur un rack vide ne prouve pas que l’opérateur pourra atteindre un raccord lorsque le rack est chargé. Il faut également vérifier ce qui se passe après la déconnexion : le composant est-il isolé ? Le circuit conserve-t-il sa pression ? Une purge est-elle nécessaire ? La remise en service impose-t-elle un contrôle du débit ou de la présence d’air ?

La propreté du circuit complète cette logique. Les microcanaux et les raccords ne tolèrent pas une conception où les opérations de chantier introduisent des particules sans contrôle. Le choix de la filtration, la fermeture des extrémités pendant le transport, le rinçage et les contrôles avant mise en service doivent être traités comme des étapes d’acceptation, pas comme des détails laissés à l’installateur.

Relier la fuite à une chaîne de mitigation

Détecter une fuite ne suffit pas. Une alarme qui arrive dans une console mais ne déclenche aucune action utile ne protège pas réellement le rack. La détection doit être reliée à une chaîne de mitigation : signal local, supervision, décision, action contrôlée et vérification du retour à un état sûr.

La spécification OCP du capteur à câble prévoit la détection du liquide, la transmission du signal à l’outil de gestion et des actions pouvant inclure l’alarme, l’arrêt de l’équipement ou l’interruption du débit. Elle mentionne également l’intégration avec la gestion de carte mère, ou BMC, et avec le CPLD, un composant logique utilisé pour certaines fonctions de contrôle au niveau matériel.

Cette chaîne doit être dessinée selon plusieurs emplacements. Un capteur près d’un serveur peut détecter une fuite localisée, tandis qu’un capteur au niveau du manifold ou de la CDU peut signaler un problème plus large. Les actions ne seront pas forcément identiques. Il peut être pertinent d’arrêter un équipement précis, de fermer une branche ou d’interrompre le débit d’une section, mais la décision dépend du scénario et de la possibilité de maintenir le reste du rack en fonctionnement.

La spécification insiste aussi sur la réduction des fausses alarmes. Le réglage des seuils, la vérification de l’absence de condensation et, lorsque c’est possible, l’emploi de plusieurs capteurs pour créer une redondance contribuent à distinguer un événement réel d’un signal parasite. Ce point est opérationnel : trop de fausses alarmes finissent par dégrader la confiance dans le système, tandis qu’un seuil trop permissif retarde la réaction.

Une procédure de test devrait donc couvrir la chaîne complète, et pas seulement le capteur. L’équipe doit injecter un événement contrôlé, vérifier sa remontée dans les outils de gestion, confirmer l’action attendue sur l’équipement et mesurer le temps nécessaire à l’isolement. Il faut ensuite tester la réinitialisation, car un système qui s’arrête correctement mais ne peut pas être remis en service de manière maîtrisée crée une autre forme de fragilité.

Le point de rosée revient ici dans une autre fonction : prévenir la condensation permet de réduire les événements qui ressemblent à une fuite sans en être une. La surveillance de l’environnement et la logique de détection doivent donc rester cohérentes. Une protection hydraulique isolée de la température et de l’humidité ambiantes ne voit qu’une partie du risque.

Ne pas confondre redondance et disponibilité

Ajouter une seconde CDU ou une seconde boucle est intuitivement rassurant. Pourtant, la redondance ne garantit la disponibilité que si l’équipe peut réellement retirer un composant du service sans interrompre la charge. Il faut examiner les chemins hydrauliques, les alimentations, les contrôleurs, les vannes, les capteurs et la procédure de bascule. Une architecture peut afficher deux équipements tout en conservant un point commun unique.

Le niveau N+1 signifie qu’un élément supplémentaire existe par rapport au nombre nécessaire au fonctionnement. Dans une rangée, cela peut conduire à prévoir deux CDU, comme le décrit Vertiv. Mais la même source rappelle que cette option augmente l’occupation au sol et les coûts. Le choix dépend donc de la disponibilité visée et de l’implantation retenue, plutôt que d’une préférence automatique pour un niveau de redondance.

L’ASHRAE traite également la redondance et la maintenabilité concurrente dans son chapitre consacré aux datacenters et aux installations télécoms. L’idée à retenir est simple : une capacité de secours n’a de valeur que si elle peut être utilisée pendant la maintenance ou la panne du composant principal. Si l’isolation d’une CDU impose l’arrêt de la boucle entière, le deuxième équipement ne fournit pas la protection attendue.

Pour chaque scénario, l’équipe devrait répondre à quatre questions :

1. Quel composant peut tomber en panne sans arrêter les charges ?
2. Quels éléments communs restent indispensables, même avec deux branches ?
3. Une maintenance planifiée peut-elle être réalisée sans interruption ?
4. La bascule est-elle automatique, manuelle ou dépendante d’une procédure d’urgence ?

Le dernier point est souvent sous-estimé. Une bascule manuelle peut être acceptable, mais elle doit être connue, documentée et répétée. Les opérateurs doivent savoir quelles vannes fermer, dans quel ordre, comment vérifier le débit restant et quelles alarmes attendre. La redondance n’est pas seulement une propriété du schéma hydraulique ; c’est aussi une compétence d’exploitation.

Enfin, la redondance doit couvrir les ressources auxiliaires. Une CDU alimentée par une seule source électrique, supervisée par un unique chemin de contrôle ou reliée à un manifold non isolable conserve des dépendances cachées. Le bon test consiste à décrire la maintenance d’un composant un jour ouvré, puis la panne brutale d’un autre composant pendant cette maintenance. C’est dans cette combinaison que l’architecture révèle sa robustesse réelle.

Réussir un retrofit dans une salle refroidie par l’air

Installer quelques racks liquid-cooled dans une salle existante peut sembler plus simple que construire une salle entièrement nouvelle. En réalité, le retrofit crée une coexistence de systèmes qui doivent être dimensionnés séparément. Le liquide évacue une grande partie de la chaleur directement depuis les composants, mais il ne supprime pas toutes les charges thermiques ni toutes les contraintes de la salle.

Un cas d’architecture de référence de Schneider Electric documente l’ajout de huit racks liquid-cooled de 73 kW dans une salle qui comportait déjà des racks refroidis par air. L’architecture utilise des CDU liquid-to-liquid en boucle commune et une redondance N+1. Ce scénario montre qu’une intégration hybride est envisageable, mais il ne doit pas être lu comme une recette universelle : la capacité du bâtiment, les charges existantes et les contraintes d’espace changent d’un site à l’autre.

Le premier sujet est la chaleur qui reste dans l’air. Les racks liquid-cooled ne rejettent pas nécessairement toute leur chaleur dans le liquide. Les alimentations, les disques, certains composants et les pertes diverses continuent de solliciter le traitement d’air. Les racks réseau, eux aussi, doivent être pris en compte. L’analyse publiée par l’ASHRAE Journal rappelle que le refroidissement liquide ne fait pas disparaître ce besoin.

Le deuxième sujet est spatial. Une CDU prend de la place, ajoute des raccordements et impose des accès. Les conduites doivent rejoindre les rangées sans créer d’obstacle aux interventions électriques ou aux opérations de remplacement. Les dégagements de service doivent être vérifiés avec les portes ouvertes, les équipements sortis et les outils réellement utilisés, pas seulement sur un plan vu de dessus.

Le troisième sujet concerne l’électricité et les interfaces bâtiment. Les pompes, les contrôles et les unités de distribution ajoutent des charges et des points de raccordement. Le FWS doit pouvoir absorber la chaleur transférée par les CDU, tandis que le TCS doit conserver ses conditions de pression, de débit, de température et de filtration. Une salle peut disposer d’une capacité électrique suffisante pour les serveurs tout en étant limitée par l’eau disponible ou par l’espace technique.

Un retrofit raisonnable commence donc par une cartographie de l’existant : capacité de traitement d’air, puissance électrique, cheminements, zones de maintenance, points de raccordement au FWS et emplacement des racks réseau. Ensuite seulement vient la sélection des racks et des CDU. Le liquide n’est pas une couche que l’on ajoute au dernier moment ; c’est une nouvelle distribution technique qui doit cohabiter avec les précédentes.

Construire une méthode de validation avant la mise en production

La fiabilité se vérifie avant l’arrivée des charges. Une mise en service limitée à une recherche de fuite statique ne suffit pas à valider une installation destinée à des racks denses. Il faut tester les conditions hydrauliques, les automatismes, la maintenance et les scénarios de défaillance dans un ordre qui révèle progressivement les interactions.

La première phase porte sur le circuit et sa propreté. Les équipes doivent confirmer l’identification des branches, la position des vannes, la filtration et les conditions du fluide. Les raccords et les plaques froides doivent être inspectés selon les exigences de leurs matériaux et de leur conception. L’objectif est de ne pas introduire dans les microcanaux un problème qui se manifestera plus tard comme une perte de débit ou une température anormale.

La deuxième phase mesure le comportement hydraulique. Pour chaque branche, il faut vérifier que le débit attendu est atteint et que la perte de charge reste compatible avec la CDU et les pompes. La comparaison ne doit pas s’arrêter à une valeur globale : une distribution déséquilibrée peut rester invisible si l’on ne mesure pas les différentes branches du manifold.

La troisième phase porte sur le contrôle thermique. L’équipe vérifie la température d’alimentation et de retour, la stabilité de la boucle et le respect de la marge par rapport au point de rosée. Les tests doivent inclure des variations de charge, car une installation stable à puissance constante peut réagir autrement lorsqu’un groupe de serveurs augmente rapidement sa consommation.

La quatrième phase met à l’épreuve la détection et la mitigation. Un événement contrôlé doit produire l’alarme attendue, atteindre les outils de supervision et déclencher l’action prévue : arrêt ciblé, interruption de débit ou isolation de branche selon le scénario. La validation doit aussi inclure les cas de capteur indisponible et de signal contradictoire, afin de vérifier que la stratégie de redondance ne génère pas une réaction incohérente.

Enfin, la maintenance doit être exécutée comme une opération de production. Retirer un serveur, déconnecter un raccord rapide anti-goutte, isoler une branche, remplacer une CDU ou basculer vers une capacité de secours : chaque geste doit être chronométré, documenté et réalisé avec les équipements installés autour. Cette répétition fait apparaître les défauts de placement, les accès trop étroits et les dépendances qui ne figurent pas dans le schéma.

La grille de décision finale peut rester concise :

• les températures et les débits sont-ils mesurés par branche, et pas seulement à la CDU ?
• les pertes de charge et la filtration sont-elles compatibles avec les plaques froides et les microcanaux ?
• une fuite déclenche-t-elle une action maîtrisée plutôt qu’une simple notification ?
• un composant peut-il être isolé et maintenu sans interrompre les charges prévues ?
• le traitement d’air, les racks réseau et la chaleur résiduelle sont-ils inclus dans le bilan hybride ?

Conclusion

Le refroidissement liquide direct datacenter devient pertinent lorsque la densité thermique impose de rapprocher l’échange thermique des composants. Mais sa réussite ne se joue pas uniquement sur la performance d’une plaque froide. Elle dépend de la cohérence de toute la chaîne : séparation entre TCS et FWS, CDU capable de contrôler le circuit secondaire, manifolds accessibles, raccords anti-goutte, fluide propre, détection exploitable et procédures de maintenance testées.

Le point de vue le plus prudent est aussi le plus utile : chaque gain thermique introduit des responsabilités hydrauliques et opérationnelles. Une plaque froide peut déplacer le risque vers la propreté du fluide. Une seconde CDU peut déplacer le risque vers les vannes ou l’alimentation commune. Un capteur de fuite peut déplacer le risque vers une logique d’arrêt mal calibrée. Concevoir l’infrastructure consiste à rendre ces déplacements visibles.

Pour un nouveau datacenter comme pour un retrofit, la décision devrait donc partir des scénarios d’exploitation, et non du seul niveau de puissance annoncé. Si une équipe sait mesurer, isoler, maintenir et remettre en service chaque partie de la boucle, le liquide peut devenir une infrastructure maîtrisable. Si elle ne le peut pas, l’installation risque simplement de remplacer une limite de refroidissement par une limite de maintenance.

Équipe Daymain