Рідинне охолодження проти повітряного: Посібник зі стійок для графічних процесорів потужністю 50 кВт (2025)

Експоненціальне зростання робочих навантажень штучного інтелекту підштовхнуло охолодження центрів обробки даних до критичної точки перегину. Оскільки щільність графічних процесорів у стійках перевищує 50 кВт, а системи наступного покоління потребують 100 кВт і більше, традиційне повітряне охолодження досягло своїх фундаментальних фізичних меж. Цей всебічний аналіз показує, як галузь долає цю теплову трансформацію за допомогою передових технологій рідинного охолодження, що забезпечують економію енергії на 10-21%, зниження витрат на охолодження на 40% і створення інфраструктури, необхідної для революції в галузі штучного інтелекту.

Коли повітря стає вузьким місцем

Відмова повітряного охолодження при високій щільності не є поступовою - це обрив. При потужності 50 кВт на стійку фізика стає невблаганною: для охолодження потрібно 7850 кубічних футів на хвилину (CFM ) повітряного потоку при різниці температур 20°F. Подвійте цю цифру до 100 кВт, і вам знадобиться 15 700 кубічних футів на хвилину, щоб створити ураганний вітер через вентиляційні отвори сервера розміром всього 2-4 квадратних дюйми. Фундаментальне рівняння відведення тепла (Q = 0,318 × CFM × ΔT) виявляє непереборну проблему: зі збільшенням щільності необхідний потік повітря зростає лінійно, але споживання потужності вентилятора зростає з кубічною швидкістю вентилятора. Збільшення повітряного потоку на 10% вимагає на 33% більшої потужності вентилятора, створюючи спіраль енергоспоживання, яка робить охолодження повітрям високої щільності економічно і практично неможливим.

Реальні факти підтверджують ці теоретичні межі. Один задокументований випадок показав, що 250 стійок потужністю всього 6 кВт піднялися з 72°F до понад 90°F за 75 секунд, коли охолодження вийшло з ладу. Традиційні центри обробки даних, розраховані на середню щільність стійок 5-10 кВт, просто не можуть впоратися з сучасними робочими навантаженнями графічних процесорів. Навіть за наявності вдосконаленої ізоляції гарячого/холодного коридору повітряне охолодження не справляється з навантаженням понад 40 кВт, тоді як системи без ізоляції втрачають 20-40% потужності через рециркуляцію гарячого повітря. Новий екологічний клас ASHRAE H1, спеціально створений для обладнання з високою щільністю розміщення, обмежує допустимі температури до 18-22°C - діапазон, який неможливо підтримувати за допомогою повітряного охолодження в масштабах графічних процесорів.

Технології рідинного охолодження перетворюють можливе на неможливе.

Перехід на рідинне охолодження - це не просто поступове вдосконалення, це фундаментальне переосмислення процесу відведення тепла. Коефіцієнт тепловіддачі води в 3500 разів вищий, ніж у повітря, що дозволяє досягти потужності охолодження, яка робить стійки потужністю понад 100 кВт звичайними, а не видатними.

Трансформація відбувається завдяки охолодженню безпосередньо на чіпі, коли холодні пластини з мікроканалами (27-100 мікрон) прикріплюються безпосередньо до процесорів. Працюючи з подачею води при 40°C і поверненням при 50°C, ці системи відводять 70-75% тепла стійки через рідину, зберігаючи при цьому 1,02-1,03 часткового PUE. Сучасні реалізації підтримують 1,5 кВт+ на чіп зі швидкістю потоку 13 літрів на хвилину для сервера потужністю 9 кВт. Решта 25-30% тепла - від пам'яті, накопичувачів та допоміжних компонентів - все одно потребують повітряного охолодження, що робить ці гібридні системи практичним вибором для більшості розгортань.

Занурювальне охолодження ще більше розширює межі, занурюючи цілі сервери в діелектричні рідини. Однофазні системи з використанням мінеральних масел коштують 50-100 доларів за галон і стабільно підтримують потужність 200 кВт на стійку. Двофазні системи обіцяють чудову теплопередачу завдяки кипінню і конденсації, але стикаються з проблемами: фторвуглецеві рідини коштують 500-1000 доларів за галон, а припинення виробництва компанією 3M до 2025 року через екологічні проблеми заморозило їхнє впровадження. Складність технології - герметичні корпуси, кавітаційні ризики і правила PFAS - обмежують її розгортання до спеціалізованих застосувань.

Блоки розподілу охолоджувальної рідини (БРО ) складають основу інфраструктури рідинного охолодження. Сучасні блоки варіюються від 7-кіловатних систем, що встановлюються в стійку, до гігантів потужністю понад 2000 кВт, таких як CHx2000 від CoolIT. Провідні виробники - Вертів, Schneider Electric, Motivair та CoolIT - пропонують рішення з резервуванням N+1, 50-мікронною фільтрацією та частотно-регульованими приводами для узгодження навантаження. Прогнозується, що ринок CDU, який оцінюється в $1 млрд у 2024 році, досягне $3,6 млрд до 2031 року (20,5% CAGR), що відображає швидке впровадження рідинного охолодження.

Мистецтво та економіка модернізації

Перехід існуючих дата-центрів на рідинне охолодження вимагає ретельної організації. Найуспішніший підхід полягає в поетапній міграції: починаючи з 1-2 стійок високої щільності, розширюючи їх до ряду, а потім масштабуючи на основі попиту. Існує три основні шляхи модернізації: рідинно-повітряні CDU, які використовують існуючі системи кондиціонування, теплообмінники на задніх дверях, які можуть охолоджувати до 40 кВт на стійку, та рішення з прямим виводом тепла на чіп для максимальної ефективності.

Модифікації інфраструктури є основним викликом. Інфраструктура електропостачання часто стає обмежуючим фактором - приміщення, розраховані на середнє навантаження 5-10 кВт, не можуть підтримувати стійки потужністю понад 50 кВт, незалежно від можливостей охолодження. Сантехніка вимагає ретельного CFD-моделювання у приміщеннях з фальшпідлогою або верхнього монтажу з піддонами для крапельниць у будівництві перекриттів. Навантаження на підлогу, особливо для занурювальних систем, може перевищувати несучу здатність конструкції в старих приміщеннях.

Аналіз витрат показує переконливу економічну ефективність, незважаючи на високі початкові інвестиції. Дослідження Каліфорнійської енергетичної комісії задокументувало повну систему рідинного охолодження для 1200 серверів у 17 стійках загальною вартістю 470 557 доларів США, або 392 долари США на сервер, включно з модифікаціями приміщення. Щорічна економія енергії у 355 МВт-год ($39 155 за ціною $0,11/кВт-год) дає 12-річну просту окупність, хоча при оптимізованому впровадженні можна досягти окупності за 2-5 років. Аналіз Schneider Electric показує 14% економію капіталу завдяки 4-кратному ущільненню стійок, в той час як операційна економія включає в себе зниження загальної потужності центру обробки даних на 10,2% і поліпшення загальної ефективності використання на 15,5%.

У гібридних середовищах проблеми інтеграції зростають у рази. Навіть "повністю рідинне охолодження" вимагає 20-30% потужності повітряного охолодження для допоміжних компонентів. Системи керування повинні координувати кілька технологій охолодження, відстежуючи як температуру на вході в стійку, так і стан води, що подається. Резервування стає критично важливим - теплообмінники з задніми дверцятами повинні переходити на повітряне охолодження, коли їх відкривають для обслуговування, тоді як системи з прямим виводом на чіп мають менше 10 секунд часу переходу на повітряне охолодження при повному навантаженні.

Від пілотів до виробництва

Реальне розгортання демонструє зрілість рідинного охолодження. Meta є лідером у впровадженні рідинного охолодження з повітряною підтримкою у понад 40 мільйонах квадратних футів простору центрів обробки даних. Конструкція стійки Catalina підтримує 140 кВт з 72 графічними процесорами, а розгортання системи рідинного охолодження в усьому центрі планується завершити до початку 2025 року. Трансформація вимагала демонтажу декількох діючих центрів обробки даних для перепроектування, оптимізованого під штучний інтелект, і очікуваної економії витрат на 31% завдяки новій архітектурі.

Семирічний досвід роботи Google з TPU з рідинним охолодженням дає змогу отримати найповніший в галузі набір даних. Розгортаючи замкнуті системи з більш ніж 2000 TPU Pods гігаватної потужності, вони досягли 99,999% часу безвідмовної роботи, демонструючи при цьому в 30 разів більшу теплопровідність, ніж у повітря. Їхній дизайн CDU п'ятого покоління, Project Deschutes, стане внеском у проект Open Compute Project, що прискорить його впровадження в масштабах всієї галузі.

Корпорація Майкрософт розширює межі двофазного занурювального охолодження у виробництві, використовуючи діелектричні рідини, які киплять при температурі на 122°F-50°C нижче, ніж вода. Ця технологія дозволяє знизити енергоспоживання серверів на 5-15% без використання вентиляторів. Їхнє зобов'язання скоротити використання води на 95% до 2024 року стимулює інновації в системах із замкнутим циклом і нульовим випаровуванням.

Спеціалізовані постачальники, такі як CoreWeave, демонструють рідинне охолодження для робочих навантажень ШІ. Плануючи розгортання 4 000 графічних процесорів до кінця 2024 року, вони досягають щільності стійок 130 кВт при на 20% кращому використанні системи, ніж конкуренти. Їхні оптимізовані для рейки конструкції заощаджують 3,1 мільйона годин роботи графічних процесорів завдяки підвищеній надійності, розгортаючи кластери H100 менш ніж за 60 днів.

Задоволення теплових потреб прискорювачів штучного інтелекту

Специфікації графічних процесорів показують, чому рідинне охолодження стало обов'язковим. NVIDIA H100 SXM5 працює з TDP 700 Вт, що вимагає рідинного охолодження для оптимальної продуктивності. H200 підтримує той самий рівень енергоспоживання, забезпечуючи 141 ГБ пам'яті HBM3e з пропускною здатністю 4,8 ТБ/с - в 1,4 рази більше, що призводить до пропорційного тепловиділення. Майбутня модель B200 ще більше розширює межі: 1200 Вт для варіантів з рідинним охолодженням проти 1000 Вт для повітряного охолодження, а продуктивність 20 PFLOPS FP4 вимагає складного термоменеджменту.

GB200 NVL72, що містить72 графічні процесори Blackwell та 36 центральних процесорів Grace в одній стійці, є кінцевою точкою життєздатності повітряного охолодження. При потужності стійки 140 кВт вона вимагає обов'язкового рідинного охолодження за допомогою нещодавно розроблених холодних пластин і 250-кіловатних CDU. Міркування системного рівня ускладнюють складність: З'єднання NVSwitch додають 10-15 Вт кожне, а високошвидкісна пам'ять і системи живлення виділяють значне додаткове тепло.

Технічний аналіз JetCool демонструє разючі відмінності в продуктивності: їхня пластина H100 SmartPlate досягає теплового опору 0,021°C/Вт, забезпечуючи роботу чіпів на 35°C прохолодніше, ніж повітряні альтернативи, при цьому підтримуючи температуру на вході 60°C. Таке зниження температури теоретично подовжує термін служби графічного процесора у 8 разів, забезпечуючи стабільну максимальну продуктивність, критично важливу для багатотижневих тренувань штучного інтелекту.

Дорожня карта до 2030 року

Галузь перебуває на етапі трансформації, коли найкращі практики швидко перетворюються на вимоги. Новий екологічний клас ASHRAE H1 (рекомендована температура 18-22°C) визнає, що традиційні рекомендації не можуть впоратися з робочими навантаженнями ШІ. Стандарти рідинного охолодження Open Compute Project забезпечують сумісність, а їхні вимоги до занурення (Immersion Requirements Rev. 2.10) встановлюють кваліфікаційні процеси для нових технологій.

Двофазне занурювальне охолодження, незважаючи на поточні проблеми, є перспективним для широкого впровадження у 2025-2027 роках. Прогнози ринку вказують на зростання з 375 мільйонів доларів США (2024 рік) до 1,2 мільярда доларів США (2032 рік), що зумовлено покращеною теплопередачею, яка дозволяє досягти 1500 Вт+ на чіп. Такі інновації, як Accelsius NeuCool та альтернативи знятим з виробництва рідинам 3M, вирішують екологічні проблеми, зберігаючи при цьому продуктивність.

Оптимізація, керована штучним інтелектом, приносить негайну віддачу. Впровадження Google DeepMind дозволило скоротити енерговитрати на охолодження на 40% завдяки навчанню в режимі реального часу, тоді як White Space Cooling Optimization від Siemens та інші подібні платформи набувають все більшого поширення. Ці системи передбачають збої, оптимізують хімічний склад охолоджувальної рідини та динамічно підлаштовуються під робоче навантаження - можливості, які, за прогнозами 91% постачальників, стануть повсюдними протягом п'яти років.

Рекуперація тепла з відходів перетворює зобов'язання на актив. Стокгольмські дата-парки вже опалюють 10 000 домогосподарств відходами дата-центрів, плануючи до 2035 року забезпечити 10% міського теплопостачання. Регуляторний тиск прискорює впровадження: Німеччина зобов'язує повторно використовувати 20% тепла до 2028 року, а Розділ 24 штату Каліфорнія вимагає створення інфраструктури рекуперації при новому будівництві. Технологія теплових насосів підвищує температуру відпрацьованого тепла 30-40°C до 70-80°C для централізованого теплопостачання, створюючи потоки доходів від раніше викинутої енергії.

Здійснення переходу

Успіх у впровадженні рідинного охолодження вимагає стратегічного планування в багатьох аспектах. Організаціям слід починати з простих рідинно-повітряних ЦОДів, щоб досягти найнижчого бар'єру, але спочатку необхідно оцінити енергетичну інфраструктуру - недостатняелектрична потужність виключає можливість модернізації, незалежно від технології охолодження. Початок з 1-2 пілотних систем в стійках дозволяє отримати досвід перед масштабуванням, в той час як збереження досвіду повітряного охолодження залишається критично важливим для гібридних операцій.

Фінансове моделювання повинно враховувати загальну вартість системи. Хоча початкові інвестиції становлять від $1,000 до $2,000 за кВт охолоджувальної потужності, економія в процесі експлуатації зростає: зниження енергоспоживання на 27% в оптимізованих системах, економія енергії на охолодження на 30% порівняно зі звичайними системами і, що особливо важливо, можливість розгортання робочих навантажень ШІ, які приносять прибуток, що неможливо при використанні повітряного охолодження. Провідні впровадження досягають окупності менше ніж за 2 роки завдяки ретельному проектуванню: відмова від інтеграції неефективних охолоджувачів дозволяє заощадити 20-30%, а зосередження на додатках з найвищою щільністю дозволяє отримати максимальну віддачу.

Технічні команди потребують нових компетенцій. Окрім традиційних знань про ОВіК, персонал повинен розуміти хімічний склад холодоносіїв, протоколи реагування на витоки та інтегровані системи керування. Партнерські відносини з постачальниками виявляються вкрай важливими: підтримка спеціалізованих компонентів у режимі 24/7 та регулярне профілактичне обслуговування з інтервалом у 6 місяців стають експлуатаційною необхідністю. Протоколи безпеки розширюються і включають поводження з діелектричними рідинами та управління системами тиску.

Ринок демонструє надзвичайний імпульс. Ринок рідинного охолодження для центрів обробки даних зростає з $4,9 млрд (2024 рік) до прогнозованих $21,3 млрд (2030 рік) із середньорічним темпом зростання 27,6%. Однофазне охолодження безпосередньо на чіпі стане стандартом для робочих навантажень ШІ до 2025-2026 років, а двофазне занурення досягне масового впровадження до 2027 року. До 2030 року стійки потужністю 1 МВт вимагатимуть вдосконаленого рідинного охолодження як стандарт, а не як виняток.

Висновок

Фізика зрозуміла: повітряне охолодження досягло своїх меж. При щільності стійок 50-100 кВт фундаментальні термодинамічні обмеження роблять рідинне охолодження не просто бажаним, а обов'язковим. Цей перехід являє собою найбільш значну інфраструктурну зміну в історії центрів обробки даних, що вимагає нових навичок, значних інвестицій та операційної трансформації. Проте переваги - економія енергії на 10-21%, зниження витрат на охолодження на 40%, підвищення надійності у 8 разів і, що особливо важливо, можливість розгортання інфраструктури штучного інтелекту наступного покоління - роблять цю еволюцію неминучою. Організації, які освоюють рідинне охолодження сьогодні, забезпечать ШІ-прориви завтрашнього дня, а ті, хто зволікатиме, відстануть, оскільки галузь рухається до все вищої щільності обчислень. Ми досягли теплової стіни; рідинне охолодження - це наш шлях до прориву.

Посилання

Електронна бібліотека ACM. "Енергоефективне навчання на рівні магістра в центрах обробки даних з графічними процесорами та системами занурювального охолодження". Матеріали 16-ї Міжнародної конференції ACM з майбутніх та сталих енергетичних систем. 2025. https://dl.acm.org/doi/10.1145/3679240.3734609.

AMAX. "Порівняння конфігурацій NVIDIA Blackwell". 2025. https://www.amax.com/comparing-nvidia-blackwell-configurations/.

---. "Топ-5 міркувань щодо розгортання NVIDIA Blackwell". 2025. https://www.amax.com/top-5-considerations-for-deploying-nvidia-blackwell/.

arXiv. "[1309.4887] iDataCool: HPC з охолодженням гарячою водою та повторним використанням енергії". 2013. https://ar5iv.labs.arxiv.org/html/1309.4887.

---. "[1709.05077] Трансформація оптимізації охолодження для зеленого центру обробки даних за допомогою глибокого навчання з підкріпленням". 2017. https://ar5iv.labs.arxiv.org/html/1709.05077.

Атом. "Нове оновлення теплових рекомендацій Ashrae: нова тенденція високої щільності". Expert Green Prefab Data Centers. 2025. https://attom.tech/ashraes-new-thermal-guideline-update-a-new-high-density-trend/.

Chilldyne. "Конструкція потужного рідинного охолодження: вимоги до рішень безпосередньо на чіпі для стійок потужністю 500 кВт". Chilldyne | Рідинне охолодження. 29 липня 2024 року. https://chilldyne.com/2024/07/29/high-power-liquid-cooling-design-direct-to-chip-solution-requirements-for-500-kw-racks/.

Датацентри Compass. "Що таке охолодження ЦОД?" 2025. https://www.compassdatacenters.com/data-center-cooling/.

Дайджест Converge. "Мета розповідає про оновлення інфраструктури штучного інтелекту на саміті OCP 2024". 2024. https://convergedigest.com/meta-outlinesai-infrastructure-upgrades-at-ocp-summit-2024/.

Core Winner LTD. "Комплексний посібник з рідинного охолодження: Майбутнє високопродуктивних центрів обробки даних і розгортання штучного інтелекту". 2025. https://www.corewinner.com/en/blog/detail/52.

CoreWeave. "Створення кластерів штучного інтелекту для підприємств до 2025 року". 2025. https://www.coreweave.com/blog/building-ai-clusters-for-enterprises-2025.

---. "Графічні процесори для моделей штучного інтелекту та інновацій". 2025. https://www.coreweave.com/products/gpu-compute.

Радники з кіберзахисту. "Прогнозоване обслуговування на основі штучного інтелекту: Майбутнє надійності центрів обробки даних". 2025. https://cyberdefenseadvisors.com/ai-driven-predictive-maintenance-the-future-of-data-center-reliability/.

Каталог ЦОД. "Meta Plans переходить на рідинне охолодження для своєї інфраструктури ЦОД". 2022. https://datacentercatalog.com/news/2022/meta-plans-shift-to-liquid-cooling-for-its-data-center-infrastructure.

Динаміка ЦОД. "Вступ до рідинного охолодження в дата-центрі". 2025. https://www.datacenterdynamics.com/en/analysis/an-introduction-to-liquid-cooling-in-the-data-center/.

---. "Гіперскалери готуються до стійок потужністю 1 МВт в OCP EMEA; Google оголошує про новий CDU". 2025. https://www.datacenterdynamics.com/en/news/hyperscalers-prepare-for-1mw-racks-at-ocp-emea-google-announces-new-cdu/.

---. "Нові настанови ASHRAE кидають виклик прагненню до ефективності". 2025. https://www.datacenterdynamics.com/en/opinions/new-ashrae-guidelines-challenge-efficiency-drive/.

---. "Генеральний директор Nvidia підтвердив, що майбутня система буде з рідинним охолодженням". 2025. https://www.datacenterdynamics.com/en/news/nvidias-ceo-confirms-next-dgx-will-be-liquid-cooled/.

---. "Оптимізація ефективності центрів обробки даних за допомогою рідинного охолодження безпосередньо на чіпі". 2025. https://www.datacenterdynamics.com/en/opinions/optimizing-data-center-efficiency-with-direct-to-chip-liquid-cooling/.

---. "Двофазне охолодження постраждає від правил EPA і виходу 3M з "вічних хімікатів" PFAS". 2025. https://www.datacenterdynamics.com/en/news/two-phase-cooling-will-be-hit-by-epa-rules-and-3ms-exit-from-pfas-forever-chemicals/.

Межа ЦОД. "8 трендів, які визначатимуть індустрію ЦОД у 2025 році". 2025. https://www.datacenterfrontier.com/cloud/article/55253151/8-trends-that-will-shape-the-data-center-industry-in-2025.

---. "Кращі практики розгортання серверів з рідинним охолодженням у вашому центрі обробки даних". 2025. https://www.datacenterfrontier.com/sponsored/article/55138161/best-practices-for-deploying-liquid-cooled-servers-in-your-data-center.

---. "Google розробляє нову "кліматичну" технологію охолодження для економії води". 2025. https://www.datacenterfrontier.com/cooling/article/33001080/google-developing-new-climate-conscious-cooling-tech-to-save-water.

---. "Google переходить на рідинне охолодження для обробки даних ШІ". 2025. https://www.datacenterfrontier.com/cloud/article/11430207/google-shifts-to-liquid-cooling-for-ai-data-crunching.

---. "Meta Plans переходить на рідинне охолодження для своєї інфраструктури ЦОД". 2025. https://www.datacenterfrontier.com/cooling/article/11436915/meta-plans-shift-to-liquid-cooling-for-its-data-center-infrastructure.

---. "Meta представляє новий дизайн центру обробки даних для майбутнього на основі штучного інтелекту". 2025. https://www.datacenterfrontier.com/data-center-design/article/33005296/meta-previews-new-data-center-design-for-an-ai-powered-future.

---. "OCP 2024 в центрі уваги: Meta дебютує 140-кіловатна стійка для штучного інтелекту з рідинним охолодженням; робототехніка Google Eyes для м'язових гіперскалерних графічних процесорів". 2024. https://www.datacenterfrontier.com/hyperscale/article/55238148/ocp-2024-spotlight-meta-shows-off-140-kw-liquid-cooled-ai-rack-google-eyes-robotics-to-muscle-hyperscaler-gpu-placement.

---. "Розширення меж повітряного охолодження в середовищах високої щільності". 2025. https://www.datacenterfrontier.com/special-reports/article/11427279/pushing-the-boundaries-of-air-cooling-in-high-density-environments.

---. "Звіт: Мета-плани переходу на рідинне охолодження в редизайні ЦОД, орієнтованому на штучний інтелект". 2025. https://www.datacenterfrontier.com/cooling/article/33004107/report-meta-plans-shift-to-liquid-cooling-in-ai-centric-data-center-redesign.

---. "Важливість рідинного охолодження для проекту Open Compute Project (OCP)". 2025. https://www.datacenterfrontier.com/sponsored/article/55134348/the-importance-of-liquid-cooling-to-the-open-compute-project-ocp.

---. "Утилізація відпрацьованого тепла - наступний крок індустрії центрів обробки даних на шляху до нульової енергії". 2025. https://www.datacenterfrontier.com/voices-of-the-industry/article/11428787/waste-heat-utilization-is-the-data-center-industrys-next-step-toward-net-zero-energy.

---. "Технологія рідинного охолодження HyperCool від ZutaCore для підтримки передових графічних процесорів NVIDIA H100 і H200 для сталого ШІ". 2024. https://www.datacenterfrontier.com/press-releases/press-release/33038994/zutacores-hypercool-liquid-cooling-technology-to-support-nvidias-advanced-h100-and-h200-gpus-for-sustainable-ai.

Знання про центри обробки даних. "Стратегії модернізації центрів обробки даних". 2025. https://www.datacenterknowledge.com/infrastructure/data-center-retrofit-strategies.

---. "Гібридне охолодження: Міст до повного рідинного охолодження в центрах обробки даних". 2025. https://www.datacenterknowledge.com/cooling/hybrid-cooling-the-bridge-to-full-liquid-cooling-in-data-centers.

Огляд центрів обробки даних. "Максимальне використання відпрацьованого тепла ЦОД". Червень 2024 року. https://datacentrereview.com/2024/06/making-the-most-of-data-centre-waste-heat/.

Центри обробки даних. "Роль CoreWeave у хмарному партнерстві Google та OpenAI переосмислює інфраструктуру штучного інтелекту". 2025. https://www.datacenters.com/news/coreweave-s-strategic-role-in-google-and-openai-s-cloud-collaboration.

Dell. "Коли переходити від повітряного охолодження до рідинного для вашого центру обробки даних". 2025. https://www.dell.com/en-us/blog/when-to-move-from-air-cooling-to-liquid-cooling-for-your-data-center/.

Цифрова інфрачервона мережа. "Мегаватний крок Google для ШІ: модернізація живлення та охолодження". 2025. https://digitalinfranetwork.com/news/google-ocp-400v-liquid-cooling/.

Enconnex. "Рідинне охолодження ЦОД проти повітряного". 2025. https://blog.enconnex.com/data-center-liquid-cooling-vs-air-cooling.

Інженерія в Meta. "Відкрите апаратне бачення ШІ від Meta". 15 жовтня 2024 року. https://engineering.fb.com/2024/10/15/data-infrastructure/metas-open-ai-hardware-vision/.

Fortune Business Insights. "Ринок двофазного рідинного занурювального охолодження для центрів обробки даних, 2032 рік". 2025. https://www.fortunebusinessinsights.com/two-phase-data-center-liquid-immersion-cooling-market-113122.

Google Cloud. "Увімкнення ІТ-стійок потужністю 1 МВт та рідинного охолодження на саміті OCP EMEA". Блог Google Cloud. 2025. https://cloud.google.com/blog/topics/systems/enabling-1-mw-it-racks-and-liquid-cooling-at-ocp-emea-summit.

GR Cooling. "Дослідження передового рідинного охолодження: Занурення проти охолодження на кристалі". 2025. https://www.grcooling.com/blog/exploring-advanced-liquid-cooling/.

---. "Двофазне та однофазне занурювальне охолодження". 2025. https://www.grcooling.com/blog/two-phase-versus-single-phase-immersion-cooling/.

HDR. "Рідинне охолодження безпосередньо на чіпі". 2025. https://www.hdrinc.com/insights/direct-chip-liquid-cooling.

HiRef. "Гібридні кімнати: комбіноване рішення для повітряного та рідинного охолодження в центрах обробки даних". 2025. https://hiref.com/news/hybrid-rooms-data-centers.

HPCwire. "H100 згасає: Nvidia анонсує апаратне забезпечення 2024 року з H200". 13 листопада 2023 року. https://www.hpcwire.com/2023/11/13/h100-fading-nvidia-touts-2024-hardware-with-h200/.

IDTechEx. "Термоменеджмент для ЦОД 2025-2035: Технології, ринки та можливості". 2025. https://www.idtechex.com/en/research-report/thermal-management-for-data-centers/1036.

JetCool. "Пряме рідинне охолодження проти занурювального для центрів обробки даних". 2025. https://jetcool.com/post/five-reasons-water-cooling-is-better-than-immersion-cooling/.

---. "Система рідинного охолодження для графічного процесора NVIDIA H100". 2025. https://jetcool.com/h100/.

Бордові мавпи. "ХДС". 2025. https://www.maroonmonkeys.com/motivair/cdu.html.

Майкрософт. "Проект "Натік", фаза 2". 2025. https://natick.research.microsoft.com/.

Новини Microsoft. "Щоб охолодити сервери центрів обробки даних, Microsoft використовує киплячу рідину". 2025. https://news.microsoft.com/source/features/innovation/datacenter-liquid-cooling/.

Рішення для охолодження ЦОД від Nortek. "Утилізація відпрацьованого тепла - наступний крок індустрії центрів обробки даних на шляху до нульового споживання енергії". 2025. https://www.nortekdatacenter.com/waste-heat-utilization-is-the-data-center-industrys-next-step-toward-net-zero-energy/.

NVIDIA. "H200 Tensor Core GPU". 2025. https://www.nvidia.com/en-us/data-center/h200/.

Open Compute Project. "Фонд Open Compute Project Foundation розширює свою ініціативу "Відкриті системи для ШІ". 2025. https://www.opencompute.org/blog/open-compute-project-foundation-expands-its-open-systems-for-ai-initiative.

P&S Intelligence. "Розмір, частка та аналіз тенденцій ринку занурювального охолодження, 2032 рік". 2025. https://www.psmarketresearch.com/market-analysis/immersion-cooling-market.

Стрічка новин PR. "Supermicro представляє стійкові суперкластери штучного інтелекту з рідинним охолодженням для NVIDIA Blackwell і NVIDIA HGX H100/H200". 2024. https://www.prnewswire.com/news-releases/supermicro-introduces-rack-scale-plug-and-play-liquid-cooled-ai-superclusters-for-nvidia-blackwell-and-nvidia-hgx-h100h200--radical-innovations-in-the-ai-era-to-make-liquid-cooling-free-with-a-bonus-302163611.html.

---. "Технологія рідинного охолодження HyperCool від ZutaCore для підтримки передових графічних процесорів NVIDIA H100 і H200 для сталого ШІ". 2024. https://www.prnewswire.com/news-releases/zutacores-hypercool-liquid-cooling-technology-to-support-nvidias-advanced-h100-and-h200-gpus-for-sustainable-ai-302087410.html.

Rittal. "Що таке пряме охолодження мікросхем і чи є рідинне охолодження у вашому майбутньому?" 2025. https://www.rittal.com/us-en_US/Company/Rittal-Stories/What-is-Direct-to-Chip-Cooling-and-Is-Liquid-Cooling-in-your-Future.

ScienceDirect. "Рідинне охолодження центрів обробки даних: Необхідність, що стикається з викликами". 2024. https://www.sciencedirect.com/science/article/abs/pii/S1359431124007804.

SemiAnalysis. "Анатомія дата-центру, частина 1: Електричні системи". 14 жовтня 2024 року. https://semianalysis.com/2024/10/14/datacenter-anatomy-part-1-electrical/.

---. "Анатомія дата-центру, частина 2 - Системи охолодження". 13 лютого 2025 року. https://semianalysis.com/2025/02/13/datacenter-anatomy-part-2-cooling-systems/.

---. "Навчання для мульти-датацентрів: Амбітний план OpenAI перевершити інфраструктуру Google". 4 вересня 2024 року. https://semianalysis.com/2024/09/04/multi-datacenter-training-openais/.

TechPowerUp. "Характеристики NVIDIA H100 PCIe 80 GB". База даних графічних процесорів TechPowerUp. 2025. https://www.techpowerup.com/gpu-specs/h100-pcie-80-gb.c3899.

TechTarget. "Рідинне охолодження проти повітряного в ЦОД". 2025. https://www.techtarget.com/searchdatacenter/feature/Liquid-cooling-vs-air-cooling-in-the-data-center.

Unisys. "Як провідні розробники LLM сприяють буму рідинного охолодження". 2025. https://www.unisys.com/blog-post/dws/how-leading-llm-developers-are-fueling-the-liquid-cooling-boom/.

Технології на майданчику. "Як щільність стелажів і Delta T впливають на вашу стратегію управління повітряними потоками". 2025. https://www.upsite.com/blog/rack-density-delta-t-impact-airflow-management-strategy/.

---. "Коли варто модернізувати ЦОД для впровадження ШІ, а коли ні". 2025. https://www.upsite.com/blog/when-to-retrofit-the-data-center-to-accommodate-ai-and-when-not-to/.

Uptime Institute. "Кращі практики охолодження ЦОД". 2025. https://journal.uptimeinstitute.com/implementing-data-center-cooling-best-practices/.

---. "Очікування щодо продуктивності рідинного охолодження потребують перевірки на практиці". Блог Інституту безвідмовної роботи. 2025. https://journal.uptimeinstitute.com/performance-expectations-of-liquid-cooling-need-a-reality-check/.

Utility Dive. "Перспективи охолодження центрів обробки даних до 2025 року". 2025. https://www.utilitydive.com/news/2025-outlook-data-center-cooling-electricity-demand-ai-dual-phase-direct-to-chip-energy-efficiency/738120/.

Vertiv. "Розгортання рідинного охолодження в центрах обробки даних: Встановлення та керування блоками розподілу охолоджувальної рідини (CDU)". 2025. https://www.vertiv.com/en-us/about/news-and-insights/articles/blog-posts/deploying-liquid-cooling-in-data-centers-installing-and-managing-coolant-distribution-units-cdus/.

---. "Рідинне та занурювальне охолодження для центрів обробки даних". 2025. https://www.vertiv.com/en-us/solutions/learn-about/liquid-cooling-options-for-data-centers/.

---. "Варіанти рідинного охолодження для центрів обробки даних". 2025. https://www.vertiv.com/en-us/solutions/learn-about/liquid-cooling-options-for-data-centers/.

---. "Кількісна оцінка впливу на PUE та енергоспоживання при впровадженні рідинного охолодження в ЦОД з повітряним охолодженням". 2025. https://www.vertiv.com/en-emea/about/news-and-insights/articles/blog-posts/quantifying-data-center-pue-when-introducing-liquid-cooling/.

---. "Розуміння охолодження безпосередньо на чіпі в інфраструктурі HPC: Глибоке занурення в рідинне охолодження". 2025. https://www.vertiv.com/en-emea/about/news-and-insights/articles/educational-articles/understanding-direct-to-chip-cooling-in-hpc-infrastructure-a-deep-dive-into-liquid-cooling/.

---. "Vertiv™ CoolPhase CDU | Рішення високої щільності". 2025. https://www.vertiv.com/en-us/products-catalog/thermal-management/high-density-solutions/vertiv-coolphase-cdu/.

WGI. "Охолодження ШІ та центрів обробки даних". 2025. https://wginc.com/cooling-down-ai-and-data-centers/.