Wentylacja serwerowni - wymagania, chłodzenie i dobór systemu

Wentylacja serwerowni nie polega wyłącznie na wymianie powietrza w pomieszczeniu. Jej zadaniem jest wspieranie stabilnej pracy infrastruktury IT: doprowadzanie czystego, odpowiednio przygotowanego powietrza do urządzeń oraz skuteczne usuwanie ciepła ze stref, w których ono powstaje.

O powodzeniu projektu decyduje zgodność instalacji z rzeczywistym obciążeniem cieplnym i układem szaf. Nominalne parametry urządzeń nie zastępują pomiarów wykonanych po uruchomieniu. Dopiero wtedy można sprawdzić, czy powietrze trafia tam, gdzie jest potrzebne, a ogrzane strumienie nie wracają do wlotów serwerów. W praktyce warto przejść przez następujące etapy:

1. Określ wszystkie źródła zysków ciepła: urządzenia IT, sprzęt sieciowy, systemy zasilania bezprzerwowego, oświetlenie oraz osoby przebywające w pomieszczeniu.
2. Zaprojektuj drogę przepływu powietrza. Chłodne powietrze powinno docierać do wlotów urządzeń, a ogrzane być odprowadzane bez mieszania ze strumieniem nawiewanym.
3. Dobierz filtrację i kontrolę wilgotności do warunków otoczenia oraz wrażliwości infrastruktury na pył i zanieczyszczenia.
4. Uwzględnij monitoring, alarmy oraz rezerwę urządzeń i zasilania dla funkcji krytycznych.
5. Po uruchomieniu wykonaj regulację i pomiary w rzeczywistych warunkach pracy, zwłaszcza przy wlotach powietrza do szaf.

Wymagania środowiskowe: zalecane parametry pracy

Warunki w serwerowni ocenia się przy wlotach powietrza do urządzeń, a nie jako średnią w pomieszczeniu. Najczęściej przyjmowanym punktem odniesienia są wytyczne ASHRAE TC 9.9 dla środowisk przetwarzania danych, które określają zalecane i dopuszczalne zakresy temperatury oraz wilgotności dla sprzętu IT.

Zalecany zakres temperatury mieści się między 18 a 27°C i odnosi się do powietrza na wlocie urządzeń. Szersze klasy dopuszczalne (A1–A4) wyznaczają granice gwarancyjne sprzętu, a nie warunki pracy ciągłej. Dla gęsto upakowanych szaf chłodzonych cieczą stosuje się węższy przedział, zwykle 18–22°C. Wilgotność ogranicza się od dołu punktem rosy, a od góry wilgotnością względną, aby jednocześnie zmniejszyć ryzyko wyładowań elektrostatycznych i kondensacji.

Parametry należy odnosić do klasy urządzeń oraz potwierdzać pomiarem po uruchomieniu. Równie istotne jak same wartości jest ograniczenie ich wahań - gwałtowne zmiany temperatury i wilgotności obciążają podzespoły oraz mogą zakłócać pracę automatyki.

Do czego odnosić mierzone wartości?

Odczyt z centralnej części pomieszczenia nie potwierdza warunków przy sprzęcie. Wartości trzeba odnosić do wlotów powietrza w najbardziej obciążonych szafach, ponieważ właśnie tam urządzenia pobierają powietrze do chłodzenia podzespołów.

Bilans cieplny i warunki pracy infrastruktury IT

Wydajność chłodzenia wynika z bilansu całego pomieszczenia, a nie z samej liczby szaf. Trzeba uwzględnić rzeczywisty pobór energii przez serwery i urządzenia sieciowe, ciepło oddawane przez zasilanie bezprzerwowe, oświetlenie, obecność ludzi oraz wpływ przegród i sąsiednich stref.

Bilans powinien opierać się na aktualnej konfiguracji, ale uwzględniać także planowaną rozbudowę. Obciążenie serwerowni zmienia się wraz z dołożeniem sprzętu, zmianą sposobu jego wykorzystania lub przebudową układu szaf. Założenie, że ciepło rozkłada się równomiernie w całym pomieszczeniu, często prowadzi do lokalnych problemów przy najbardziej obciążonych urządzeniach.

Stabilność parametrów zamiast doraźnego schładzania

Temperatura, wilgotność, czystość powietrza i kierunek przepływu tworzą jeden układ. Nie wystarczy obniżyć temperatury mierzonej w centralnej części serwerowni. Istotne są warunki przy wlotach powietrza do urządzeń, ponieważ właśnie tam infrastruktura pobiera powietrze do chłodzenia podzespołów.

Nadmiar ciepła podnosi temperaturę komponentów i może uruchamiać ich mechanizmy ochronne. Zbyt suche powietrze zwiększa ryzyko wyładowań elektrostatycznych, natomiast nadmierna wilgotność sprzyja kondensacji i korozji elementów elektronicznych. Równie ważne jest ograniczenie wahań parametrów, które mogą zakłócać pracę automatyki.

Czystość powietrza i rzeczywisty rozpływ

Pył osadzający się na radiatorach, filtrach i elementach ruchomych utrudnia oddawanie ciepła oraz zwiększa opory przepływu. Zabrudzone filtry zmieniają pracę całej instalacji, dlatego muszą być dostępne do regularnej kontroli i wymiany.

Powietrze powinno przemieszczać się przewidywalną drogą: od nawiewu, przez urządzenia, do wywiewu. Mieszanie chłodnego i ogrzanego strumienia obniża skuteczność chłodzenia, nawet jeśli urządzenia pracują prawidłowo.

Wymagania techniczne dla wentylacji serwerowni

Projekt instalacji należy dopasować do konkretnego pomieszczenia, rozmieszczenia szaf, przebiegu tras instalacyjnych i sposobu pracy infrastruktury IT. Kluczowe znaczenie mają lokalizacja nawiewu i wywiewu, szczelność kanałów, filtracja oraz możliwość późniejszej regulacji układu. Kolejność postępowania jest następująca:

1. Wyznacz miejsca nawiewu i wywiewu względem wlotów oraz wylotów powietrza z urządzeń. Ogrzane powietrze nie powinno wracać do strefy zasilania sprzętu.
2. Zadbaj o szczelność kanałów, przepustów i przejść przez przegrody. Nieszczelności zaburzają rozpływ powietrza i utrudniają utrzymanie warunków przy szafach.
3. Oddziel trasy powietrza zewnętrznego od potencjalnych źródeł zanieczyszczeń. Lokalizacja czerpni powinna ograniczać zasysanie pyłu, spalin, wilgoci oraz powietrza wyrzucanego przez inne instalacje.
4. Dobierz filtrację do warunków otoczenia i wymagań urządzeń. Zapewnij dostęp serwisowy do filtrów i innych elementów wymagających kontroli.
5. Przewidź regulację oraz pomiar pracy nawiewu i wywiewu. Instalacja musi umożliwiać korektę po zmianie układu szaf lub rozbudowie infrastruktury.
6. Uzgodnij działanie wentylacji z instalacjami elektrycznymi i ochroną przeciwpożarową. Sterowanie, przepusty oraz scenariusze wyłączeń muszą być spójne z zabezpieczeniami obiektu.

Dlaczego chłodzenie serwerowni wymaga kontroli lokalnej

Niewystarczające lub nierównomierne chłodzenie obniża stabilność infrastruktury IT. Sama wymiana powietrza w pomieszczeniu nie gwarantuje właściwych warunków przy urządzeniach. Ciepło trzeba odbierać w miejscach, w których faktycznie się kumuluje.

Problem pojawia się między innymi wtedy, gdy ogrzane powietrze z tyłu szaf wraca do wlotów serwerów. W innych częściach pomieszczenia temperatura może wtedy wydawać się prawidłowa, lecz urządzenia pracują w gorszych warunkach. Ich wewnętrzne wentylatory mogą zwiększać obroty, co nie usuwa przyczyny nieprawidłowego przepływu. Najważniejsze są tu następujące kwestie:

• Ograniczenie lokalnych stref przegrzania przy najbardziej obciążonych szafach.
• Ochrona podzespołów przed długotrwałą pracą w podwyższonej temperaturze.
• Stabilniejsze warunki dla urządzeń sieciowych i systemów zasilania, które również oddają ciepło do pomieszczenia.
• Mniejsze ryzyko, że pojedyncza zmiana konfiguracji sprzętu zaburzy przepływ powietrza w całej serwerowni.

Ocena chłodzenia powinna obejmować warunki przy urządzeniach, rozpływ powietrza oraz reakcję instalacji na zmiany obciążenia. Pomiar wykonany tylko w jednym punkcie pomieszczenia może nie ujawnić lokalnej recyrkulacji.

Kiedy chłodzenie wymaga pilnej weryfikacji?

Weryfikację trzeba przeprowadzić przy powtarzających się alarmach urządzeń, po rozbudowie infrastruktury, po zmianie układu szaf oraz wtedy, gdy część sprzętu pracuje wyraźnie cieplej niż pozostałe urządzenia.

Systemy chłodzenia i wentylacji stosowane w serwerowniach

Dobór rozwiązania zależy od rozkładu obciążenia cieplnego, dostępnej infrastruktury technicznej, warunków zewnętrznych oraz wymagań dotyczących ciągłości działania. Należy rozpatrywać nie tylko rodzaj urządzenia, lecz także miejsce odbioru ciepła i sposób prowadzenia powietrza. Poniższe zestawienie porządkuje najczęstsze rozwiązania:

Przy rozproszonym obciążeniu istotne jest utrzymanie warunków w całej strefie. Jeżeli ciepło koncentruje się w pojedynczych szafach albo rzędach, większe znaczenie ma odbiór ciepła blisko jego źródła. Wentylacja kontroluje wymianę i jakość powietrza, ale nie zastępuje układu chłodzącego. Zasady koordynacji obu układów w jednym projekcie omawiamy w artykule Jak połączyć klimatyzację i wentylację w serwerowni, a szczegółowy dobór samej klimatyzacji precyzyjnej - typy PAC, CRAC, in-row oraz układy wodne - w artykule Wentylacja serwerowni i klimatyzacja precyzyjna.

Kiedy rozważyć chłodzenie lokalne przy szafach?

Rozwiązanie lokalne warto rozważyć, gdy pojedyncze szafy lub wybrane rzędy urządzeń oddają wyraźnie więcej ciepła niż pozostała część serwerowni. Dotyczy to także sytuacji, w których powodują lokalne zaburzenia warunków pracy.

Dobór wydajności i układu przepływu powietrza

Dobór instalacji powinien wynikać z aktualnego bilansu cieplnego, rozmieszczenia infrastruktury oraz sposobu, w jaki urządzenia pobierają i oddają powietrze. Celem jest doprowadzenie chłodnego, czystego powietrza do sprzętu oraz odprowadzenie powietrza ogrzanego bez jego zawracania. Proces doboru obejmuje następujące etapy:

1. Ustal obciążenie cieplne całej infrastruktury i wskaż miejsca o największym skupieniu urządzeń.
2. Ustaw szafy tak, aby fronty urządzeń tworzyły strefę zimną, a ich tylne części kierowały ogrzane powietrze do strefy gorącej.
3. Ogranicz niekontrolowane obejścia powietrza. Pomagają w tym zabudowy, uszczelnienia i zamknięcie wolnych przestrzeni w szafach.
4. Dopasuj nawiew do zapotrzebowania w poszczególnych strefach, a wywiew prowadź z miejsc gromadzenia się ogrzanego powietrza.
5. Uwzględnij opory filtrów, kanałów i elementów regulacyjnych, ponieważ wpływają one na rzeczywistą pracę instalacji.
6. Po każdej zmianie konfiguracji sprawdź działanie systemu przy wlotach urządzeń, a nie tylko w centralnej części pomieszczenia.

Stałe nastawy mogą przestać odpowiadać warunkom po dołożeniu sprzętu lub zmianie ustawienia szaf. Możliwość regulacji nie jest dodatkiem do projektu, lecz warunkiem utrzymania właściwego przepływu podczas eksploatacji.

Sygnały, że układ nawiewu i wywiewu wymaga zmiany

Zmianę trzeba rozważyć, gdy rozbudowa szaf, zmiana ich ustawienia albo pojawienie się urządzeń o większym obciążeniu powodują nierównomierne warunki przy wlotach powietrza do sprzętu.

Filtracja, wilgotność i jakość powietrza

Jakość powietrza wpływa na trwałość i niezawodność sprzętu równie mocno jak sama temperatura. Pył osadzający się na płytkach, radiatorach i wentylatorach utrudnia oddawanie ciepła, a w połączeniu z wilgocią i zanieczyszczeniami gazowymi sprzyja korozji ścieżek oraz styków. Dlatego filtrację, wilgotność i szczelność trzeba kontrolować łącznie.

Filtrację dobiera się do rzeczywistych zagrożeń wokół serwerowni. W otoczeniu przemysłowym znaczenie mają aerozole, włókna, pyły procesowe oraz zanieczyszczenia przenoszone z sąsiednich stref. Kolejne stopnie filtracji ograniczają dopływ coraz drobniejszych cząstek, jednak zbyt duży opór przepływu zmniejsza wydajność nawiewu - dobór wymaga równowagi między czystością a oporami.

Stan filtrów powinien być monitorowany pomiarem ciśnienia różnicowego. Wraz z zabrudzeniem rośnie opór, a wentylatory zużywają więcej energii przy mniejszej ilości dostarczanego powietrza. Wymianę wkładów trzeba prowadzić tak, aby nie powodowała wtórnego pylenia w pobliżu sprzętu IT.

Wilgotność wymaga niezależnej kontroli, ale jej odczyty należy interpretować razem z temperaturą. Zbyt suche powietrze zwiększa ryzyko wyładowań elektrostatycznych, a nadmierna wilgotność sprzyja kondensacji na chłodniejszych powierzchniach. Nawet dobrze dobrany układ nie ochroni pomieszczenia, jeżeli powietrze omija tor filtracji przez nieszczelne przejścia kablowe, drzwi techniczne lub przepusty.

Sygnały pogorszenia jakości powietrza

Do niepokojących objawów należą widoczny pył na urządzeniach, rosnący opór na filtrach, powtarzające się wahania wilgotności oraz ślady korozji na elementach elektroniki. Każdy z nich jest podstawą do przeglądu filtracji i szczelności przegród.

Monitoring, redundancja i ryzyka niewłaściwego chłodzenia

Monitoring ma wykrywać odchylenia, zanim wpłyną one na pracę infrastruktury IT. Najbardziej użyteczne są pomiary wykonywane przy wlotach powietrza do szaf oraz w strefach wywiewu. Dane z jednego punktu w pomieszczeniu nie pozwalają ocenić lokalnych problemów.

Zakres monitoringu warto budować następująco:

1. Rozmieść czujniki temperatury i wilgotności przy szafach oraz w strefach wywiewu.
2. Kontroluj ciśnienie różnicowe między strefami i na filtrach. Zmiana ciśnienia może wskazywać na zabrudzenie, nieszczelność albo zaburzenie przepływu.
3. Ustaw alarmy dla odchyleń parametrów, utraty zasilania, zatrzymania urządzeń chłodzących i nieprawidłowego położenia elementów regulacyjnych.
4. Zintegruj dane z systemem BMS (Building Management System - system zarządzania budynkiem). Wspólny podgląd wentylacji, chłodzenia i zasilania ułatwia ustalenie przyczyny problemu.
5. Zaplanuj redundancję urządzeń oraz torów zasilania dla funkcji krytycznych.
6. Testuj scenariusze awaryjne w kontrolowanych warunkach, aby potwierdzić reakcję automatyki, alarmów i urządzeń rezerwowych.

Rezerwa nie daje bezpieczeństwa, jeśli nie została sprawdzona w działaniu. Równie ważna jest procedura reagowania: alarm powinien pomagać zidentyfikować przyczynę, a nie ograniczać się do informacji o wzroście temperatury.

Sygnały, że monitoring wymaga rozbudowy

Monitoring trzeba rozbudować po zmianie rozmieszczenia szaf, dołożeniu urządzeń o dużym obciążeniu, modernizacji chłodzenia oraz po każdym zdarzeniu, które ujawniło lokalne przegrzewanie lub opóźnioną reakcję alarmową.

Odbiór ciepła - wartości z naszych instalacji

Serwerownia to pod względem fizycznym ten sam problem co maszynownia: zamknięte pomieszczenie z urządzeniami, które oddają ciepło, i konieczność odprowadzenia go w sposób ciągły. Wartości z naszych realizacji, w których to zadanie było główne:

• Odzysk ciepła, duża hala produkcyjna - moc chłodnicza 145 kW i grzewcza 125 kW na pompach ciepła, wymiennik obrotowy, zmierzona wydajność wentylacji 42 000 m³/h wobec 30 000 przyjętych w projekcie.
• Hala odlewni aluminium - przeciwprądowy wymiennik ciepła o sprawności do 92 procent, dwustopniowa filtracja, pełna automatyka.
• Odzysk ciepła z lakierni - powietrze odpadowe o temperaturze około 35°C, moc odzysku 64 kW, utrzymanie +16°C na sąsiedniej hali przy skrajnym mrozie.

To dane z pomiarów odbiorowych na instalacjach przemysłowych, które projektowaliśmy i wykonywaliśmy. Serwerownia różni się od nich wymaganiem ciągłości i redundancji - sama moc chłodnicza jest tylko jednym z parametrów doboru.

Źródła

• ASHRAE TC 9.9 - Thermal Guidelines for Data Processing Environments (Reference Card)
• Gaseous and Particulate Contamination Guidelines for Data Centers - Center of Expertise for Data Center Efficiency (Lawrence Berkeley National Laboratory, U.S. DOE)
• Rozporządzenie w sprawie warunków technicznych, jakim powinny odpowiadać budynki i ich usytuowanie (tekst jednolity, Dz.U. 2022 poz. 1225) - ISAP
• Koncepcja budowy pomieszczenia serwerowni - Instytut Pamięci Narodowej (BIP)
• Koncepcja serwerowni wraz z infrastrukturą teleinformatyczną - EC1 Łódź – Miasto Kultury (BIP)