«Устаткування центру обробки даних повинне експлуатуватися в температурному діапазоні до +25 ° C, а охолодження переважно здійснювати за допомогою чілерів або прецизійних кондиціонерів». До недавнього часу, завдяки рекомендаціям ASHRAE (American Society of Heating, Refrigerating and Air Conditioning Engineers, однієї з найбільш авторитетних організацій в області охолодження і кондиціонування), це була аксіома. Але витрати на електроенергію для охолодження ЦОД росли разом з тарифами та потужністю обладнання, і, врешті-решт, системи охолодження стали споживати 35-40% всієї енергії, необхідної для функціонування дата-центру.
Intro
Існує традиційний підхід до зниження енергоспоживання холодильного агрегату, що полягає в пошуку більш ефективних холодоагентів та підборі параметрів роботи системи. Але це - еволюційний розвиток, по суті, битва за лічені відсотки підвищення енергетичної ефективності. У цьому контексті повна відмова від компресорно-конденсаторних агрегатів і перехід на використання можливостей зовнішнього повітря можна вважати шляхом революційним. У Мурманську або Норильську такий підхід був би цілком виправданий. Але ЦОД з freecooling в жаркій пустелі - це, на погляд неспеціаліста, вже з області неочевидних маркетингових рішень, придуманих заради «зеленого свербіння» та інших малозрозумілих нам поки явищ.
Тим дивніше те, що до маркетингу таке рішення має суттєво менше відношення, а настільки нетрадиційний підхід зумовлений, у першу чергу, економічними та технічними причинами. Дата-центр «Меркурій», що в Фініксі, штат Арізона, належить відомому всім нам eBay. Ця компанія вибирає розташування для своїх майданчиків таким чином, щоб мінімізувати затримки для користувачів по всьому світу, адже на eBay полягає операцій на 2000 доларів щосекунди, а значить, для сервісів компанії життєво важливо залишатися доступними «24/7/365». Таким чином, дата-центр в Фініксі розташований географічно вдало. А ось кліматично ... Тропічний пустельний клімат, дуже спекотне літо з максимумами в районі +50 ᵒ С. Тут впору думати про те, що не кожна холодильна машина витримає роботу в подібних умовах, не кажучи вже про «фрікулінге». Але початкові умови - максимальна щільність розміщення обладнання і максимальна обчислювальна потужність на ват споживаної дата-центром енергії - не залишали вибору: застосування традиційних систем охолодження розбило б в пух і прах всі мрії про високої енергетичної ефективності. Після ретельного аналізу фахівці Global Foundation Services (підрозділ eBay) прийшли до висновку, що саме «фрікулінг» найкраще забезпечить потрібну ефективність, і оголосили конкурс на проектування ЦОД в пустелі, але - з цілорічним охолодженням зовнішнім повітрям.
Принцип дії
Звичайно, не можна взяти проект звичайного центру обробки даних з традиційними серверними стійками і переробити його систему охолодження під зовнішнє повітря. Устаткування, для якого IT-стандарт +25 .. +27 ᵒ С непорушний, просто не витримає цього переходу, адже «фрікулінг», особливо в жаркому регіоні, в принципі не може забезпечувати необхідну температуру. Потрібно устаткування, здатне нормально працювати при більш високих температурах. І таке обладнання було знайдено в лінійці Dell: модульні дата-центри з серверами Dell PowerEdge і щільністю стійки до 30 КВт.
Але як бути з температурою повітря до +50 градусів за Цельсієм? Звичайно, температурний діапазон обладнання PowerEdge дещо ширше (до 45 градусів в короткі піки), але не до такої ж міри! І ось тут було застосовано зовсім вже дике для більшості IT-фахівців рішення: адіабатне зволоження, або охолодження з використанням теплоти пароутворення води для відбору тепла від повітря. Суть гранично проста: у сухе гаряче повітря (яким і є повітря в Фініксі) краплями діаметром, як правило, 0,06-0,08 мм розпорошується звичайна вода, очищена від домішок. Питома теплота пароутворення води - 2260 КДж / кг, питома теплоємність повітря - 1,006 кДж / кг * ° С. Таким чином, за рахунок випаровування кілограма води температура 2200 кілограм повітря може бути знижена на один градус. На практиці температура повітряного потоку знижується істотно (в середньому на 7 градусів, це залежить від поєднання факторів). Мінусом же даного підходу є зростання вологості повітря. Кожен завдяки численним стереотипам знає: підвищена вологість - це смерть для обладнання, це відмови і передчасний вихід серверів з ладу.
Рис. Схема побудови фрікулінга і адиабатного охолодження в ЦОД eBay
Численні дослідження гігантів індустрії показали, що це не так. Велика частина устаткування в стані витримати і підвищення температури, і збільшення вологості повітря без всякої шкоди для нього.
Спеціально спроектовані для таких умов стійки і сервери, зрозуміло, теж терпимо ставляться до підвищеної вологості. Досвід експлуатації дата-центру «Меркурій» показав, що в короткі спекотні періоди випаровування води здатне підтримувати температуру повітря на прийнятному для ЦОД рівні, при цьому більшу частину року адіабатне охолодження не потрібно зовсім - все ж у Фініксі є й досить холодні місяці. У дата-центрі немає ніяких «пікових» і дублюючих систем, таким чином, охолодження обладнання ЦОД здійснюється за допомогою недорогий і дуже надійною, завдяки відсутності складних агрегатів, системи.
Нюанси
Звичайно, реалізація такої системи, та ще й у настільки нетрадиційному виконанні, пов'язана з масою практичних труднощів. Так, вкрай важливо поєднати правильний діаметр краплі і швидкість повітряного потоку: якщо вона не вписується в «еталони краси» або швидкість повітряного потоку занадто висока, її винесе за межі простору, де відбувається теплообмін, і відповідно, «фокус не вдасться». Вода повинна відповідати досить серйозним вимогам за змістом CaCO3 і жорсткості (8-12 градусів жорсткості, 1 градус жорсткості відповідає змісту CaCO3 в кількості 1 мг-екв / л домішки), показник pH також не повинен бути вище 7, інакше елементи системи охолодження будуть піддаватися корозії. Є і менш очевидні складнощі: наприклад, що робити з водою, яка не випарується, як і куди її збирати?
Profit
Однак після подолання цих труднощів застосування такої нетрадиційної для дата-центрів системи охолодження дозволило добитися завидною енергоефективності. Коефіцієнт PUE (Power usage effectiveness, розраховується як загальна потужність обладнання, поділена на потужність IT-обладнання) у серпневий день склав 1,043, тобто допоміжне обладнання, включаючи систему охолодження, навіть влітку споживає всього близько чотирьох відсотків енергії ЦОД, взимку - і того менше, PUE в районі 1,018. Ефективність компресорно-конденсаторних систем на основі чілерів або DX-кондиціонерів істотно нижче, для них PUE в районі 1,3 - досягнення. Навіть у найспекотніші дні «вільна» система охолодження ЦОД дає можливість серверам функціонувати надійно і безвідмовно. Пригадайте, адже майданчиком володіє eBay. Якби в ефективності і стабільності такого рішення були хоч якісь сумніви, компанія, чиє життя залежить від доступності її майданчиків, ніколи б на таке не пішла. А адже ЦОД «Меркурій» площею 12 600 квадратних метрів і потужністю 4 МВт функціонує вже більше року.
Цікаво, що така система охолодження і розміщення модулів обробки даних на даху дата-центру дозволяють не тільки ефективно їх охолоджувати, але і швидко збільшувати обчислювальну потужність, якщо це необхідно. Так, за допомогою спеціальних кранів на дах може бути піднято півтори тисячі серверів за двадцять хвилин. Потім їх швидко підключають до електрики і водопостачання, і ось вже через годину вони в строю. ЦОД володіє можливостями швидкого розширення потужності до 6 МВт, а також необхідною інфраструктурою для збільшення її до 12 МВт. 12600 квадратних метрів - зовсім небагато за мірками сучасних ЦОД, але такі потужність і щільність - це вже серйозно.
Використання фрікулінга спільно з адіабатне випарним охолодженням в «жаркому» ЦОД - сміливе, нетрадиційне, неочевидне, але вже довело свою працездатність рішення.
Звичайно, прецизійні кондиціонери та чиллери нікуди не подінуться, та й до підвищення середньої температури повітря в ЦОД з повітряним охолодженням треба підходити акуратно. Але якщо навіть ASHRAE у своїх рекомендаціях 2011 визнає існування устаткування класів А3 (до 40 ᵒ С) і А4 (до 45 ᵒ С), а eBay з таким обладнанням вже щосили працює - значить, ні вологості, ні підвищеної температури не слід боятися тільки тому, що вони є і ходить чутка про їх погану сумісність з серверами. Грамотно підібране обладнання, ефективна система охолодження і добре налагоджений моніторинг - ось і всі секрети надефективних дата-центрів, частка яких напевно буде рости в найближчі роки, в тому числі і в нашій країні.
Немає коментарів:
Дописати коментар