Структуровані кабелі проти каналів з рідинним охолодженням: Проектування для стійок потужністю понад 100 кВт

Колись центри обробки даних обчислювали свої перемоги в мегаватах; сьогодні вони хваляться кіловатами на стійку. Оскільки робочі навантаження штучного інтелекту зростають, а щільність стійок перевищує позначку в 100 кВт, командам центрів доводиться балансувати: забезпечувати передачу даних через чисті оптоволоконні канали, одночасно швидко відводячи нестерпне тепло. Ставки відчутні - неякісна конструкція означає перегрів графічних процесорів і спіралеподібне зростання рахунків за електроенергію - тому кожен канал, труба і комутаційна панель повинні працювати на повну потужність з першого дня.

Поріг у 100 кВт

Сучасні полиці для графічних процесорів тепер споживають понад 100 кВт на стійку - електричне навантаження, яке колись було призначене для невеликих підстанцій.¹ Оператори, які прагнуть досягти такої щільності, повинні підняти як кабельну систему, так і мережу охолодження до інфраструктури першого рівня. Нехтування будь-якою з цих систем призведе до того, що високоякісний вільний простір перетвориться на величезний обігрівач, а не на продуктивний зал для обробки даних.

Структуровані кабелі: Основа надійності

Структуровані кабелі організовують мідні та оптоволоконні шляхи в дисципліновану ієрархію і надають три важливі переваги:

-Безперешкоднийпотік повітря. Пучкові магістралі захищають підлогові та верхні пленуми, тому блоки CRAH підтримують стабільну подачу холодного повітря.

-Скороченнясереднього часу на ремонт. Чітке маркування портів і попередньо закінчені касети дозволяють технічним фахівцям ізолювати та відновити несправні з'єднання за лічені хвилини.

-Цілісність сигналу. Касети високої щільності забезпечують належний радіус вигину, захищаючи оптику 400 GbE від втрат на мікрозгинах.²

Зали з повітряним охолодженням, які працюють на рівні або вище 100 кВт, успішно працюють лише тоді, коли кабелі ніколи не блокують критично важливий потік повітря.

Трубопроводи з рідинним охолодженням: Пряма теплова екстракція

Повітряне охолодження втрачає ефективність при потужності понад 50 кВт на стійку. Рідинне охолодження - через контури холодних пластин або занурювальні резервуари - відводить тепло від чіпа і направляє його до зовнішніх теплообмінників.

-Чудоватеплоємність. Вода відводить тепло в 3500 разів ефективніше за об'ємом, ніж повітря при однаковому підвищенні температури.

-Покращенаенергоефективність. Зниження температури подачі охолоджувальної рідини дозволяє операторам підвищити задані значення охолоджувачів і зменшити показник PUE на 10-20% у виробничих умовах.⁴

-Координація траси. Шланги для рідини потребують спеціального місця в лотку, тому команди проектувальників відокремлюють їх від оптичних магістралей на етапі компонування.

Порівняльні показники ефективності

-Відведення тепла: Структуровані кабелі сприяють безперешкодному потоку повітря, тоді як канали з рідинним охолодженням відводять тепло безпосередньо на рівні компонентів.

-Обслуговування: Кабельні бригади швидко замінюють касети та перевіряють з'єднання; фахівці з охолодження використовують сухі швидкороз'ємні з'єднання та виконують перевірку герметичності.

- Потреба в просторі: Пучки волокон залишаються компактними; шланги для охолоджувальної рідини потребують більшого діаметру та більшого радіусу вигину.

-Вплив відмов: Обрив одного волокна ізолює одну ланку; витік охолоджувальної рідини може спричинити більш тривалий простій.

-Вимоги до кваліфікації: Кабельні роботи покладаються на фахівців з низьковольтних мереж, тоді як рідинні системи потребують спеціалістів з механіки та роботи з рідинами.

Більшість надвеликих об'єктів поєднують обидві системи: структуровані кабелі передають дані, а рідинні канали відводять тепло.

Представляємо методологію швидкого розгортання Introl's Introl

Польові команди Introl встановили понад 100 000 графічних процесорів і проклали понад 40 000 миль оптоволокна через глобальні кластери штучного інтелекту.⁵ Команда з 550 інженерів мобілізується протягом 72 годин, встановлює 1024 вузли H100 і 35 000 оптоволоконних латок за 14 днів, а також доставляє повністю обладнані системи стримування за графіком.⁶

Основні практики включають

1. Виділені шляхи. На верхніх лотках над гарячими проходами прокладені шланги для рідини; в заземлених кошиках під підлогою прокладені оптоволоконні магістралі.

2. Волокно високої щільності. Двадцятичотирьохжильні магістралі MPO мінімізують ширину пучка, звільняючи місце для колекторів охолоджувальної рідини.

3. Короткорядні колектори. Колектори на рівні стійки зменшують довжину шланга і створюють ізольовані зони сухого розриву.

4. Міждисциплінарне навчання. Технічний персонал мережі сертифікує процедури поводження з рідинами, в той час як механічний персонал опановує допуски на управління волокном.

Сталий розвиток та майбутній розвиток

Гібридні канали тепер об'єднують екрановані оптоволоконні канали з подвійними рідинними контурами, що спрощує установку та зберігає простір лотка.⁷ Інженери Національної лабораторії відновлюваної енергетики уловлюють відпрацьоване тепло на рівні стійки та подають його в централізовані тепломережі, перетворюючи надлишкову теплову енергію в тепло для населення.⁸ Майбутнє керівництво ASHRAE підвищує допустимі температури на вході в стійку, прокладаючи шлях до більш тісної інтеграції схем повітряного та рідинного охолодження.⁹.

Наші інженери ретельно тестують кожну нову ідею в нашій пілотній лабораторії, залишаючи лише ті, що витримують випробування, і впроваджують переможців у реальні проекти - чи то нове будівництво, чи то модернізація старого залу. Виграш легко побачити: більш щільне розташування стелажів, менші рахунки за електроенергію та перемога у сфері сталого розвитку, якою можуть пишатися як безпосередні виконавці, так і керівники.

Висновки

Структуровані кабелі забезпечують цілісність даних і оперативність роботи, а кабелепроводи з рідинним охолодженням забезпечують термостабільність при високій щільності. Об'єкти, в яких під час проектування було узгоджено роботу обох систем, забезпечують прогнозовану продуктивність, оптимізоване енергоспоживання та прискорені терміни розгортання. Ретельне планування траси, дисциплінований монтаж і міжфункціональний досвід перетворюють 100-кіловатні стійки з амбітної концепції на надійну реальність.

Список використаних джерел (Чиказька авторська дата)

1. Інститут безвідмовної роботи. Глобальне дослідження центрів обробки даних 2024: Основний звіт 146M. Нью-Йорк: Uptime Institute, 2024.

2. Cisco Systems. Кращі практики волоконно-оптичних кабелів для центрів обробки даних на 400 Гбіт/с. Сан-Хосе, Каліфорнія: Біла книга Cisco, 2023.

3. американське товариство інженерів з опалення, охолодження та кондиціонування повітря. Теплові настанови для середовищ обробки даних, 6-е видання. Атланта: ASHRAE, 2022.

4. національна лабораторія Лоуренса Берклі. Виміряна економія PUE в об'єктах ШІ з рідинним охолодженням. Берклі, Каліфорнія: LBNL, 2024.

5. Introl. "Прискорте майбутнє ШІ за допомогою керованого розгортання графічних процесорів Introl". Доступно 26 червня 2025 року. https://introl.com/.

6. Інтрол. "Франкфуртський приклад". Доступно 26 червня 2025 року. https://introl.com/case-studies/frankfurt.

7. проект Open Compute. Передові рішення для охолодження: Проект специфікації до 2025 року. Сан-Хосе, Каліфорнія: Фонд OCP, 2025.

8. Хуанг, Вей. "Рекуперація тепла на рівні стійки в кластерах штучного інтелекту з рідинним охолодженням". Journal of Sustainable Computing 12, no. 3 (2024): 45-58.

9. ASHRAE. Пропоноване доповнення C до Теплових настанов, проект для громадського обговорення, січень 2025 року.