Директива ASHRAE про мікрокліматі обчислювальних центрів, випущена в 2004 році Технічним комітетом 9.9 при ASHRAE і оновлена в 2008 році, заклала основу, що дозволяє фахівцям спілкуватися на одній мові і краще розуміти сенс температурних вимог ІТ-обладнання. Зростання уваги до енергоефективності всього обладнання в цілому і систем охолодження зокрема змушує розвивати положення Директиви в напрямі розширення діапазонів температури і вологості в ЦОД.
Досвід останніх років показав, що використання економайзерів при збільшеному діапазоні параметрів мікроклімату в машинному залі дозволяє істотно скоротити енергоємність системи охолодження. Нова Директива ASHRAE 2011 визначає цю практику як основний напрямок діяльності з підвищення енергоефективності.
Енергоефективність інженерної інфраструктури визначається коефіцієнтом використання енергії PUE (Power Usage Effectiveness), який обчислюється таким чином:
Чим суворіше вимоги до мікроклімату, тим вище енергоспоживання ЦОД. Для досягнення кращих значень PUE і загальної експлуатаційної ефективності Технічний комітет 9.9 при ASHRAE розширив класифікацію ІТ-обладнання та додав два нових класи, які краще підходять для ЦОД з бесчіллерним охолодженням. Комітет також розробив детальне керівництво з визначення оптимального діапазону параметрів мікроклімату ЦОД, а також створив класифікацію систем рідинного охолодження, призначених в першу чергу для дата-центрів високої щільності.
Директива про повітряному охолодженні
Класи обладнання та відповідні їм ліміти температури і вологості визначають діапазон значень параметрів середовища, в якій може працювати дане устаткування. Метою першої Директиви ASHRAE було задати нормативи, які дозволили б бути впевненими в тому, що система охолодження ЦОД впорається з тепловиділенням ІТ-обладнання.
Вихідна версія Директиви 2004 року визначається допустимі і рекомендовані діапазони температур. Відповідна техніка розроблялася для функціонування в допустимому діапазоні, і в ЦОД повинні були підтримуватися саме ці параметри. Експлуатація обладнання поза вказаного діапазону могла призвести до його нештатної роботі, появі помилок, зниження продуктивності, відключення і незворотнім поломок.
Рекомендований діапазон визначав межі, в яких обладнання характеризується найвищою надійністю. У 2008 році рекомендований діапазон температури і вологості був розширений, дозволяючи знизити тривалість роботи холодильного циклу (механічного охолодження) і збільшити тривалість роботи економайзерів.
З 2008 року з'явилося безліч нових технологій охолодження, конкуруючих з традиційними. В даний час досліджується можливість використання зовнішнього повітря з метою значного скорочення часу роботи механічного охолодження і розширення можливості застосування економайзерів. Однак є й супротивники використання зовнішнього повітря для охолодження ІТ-обладнання.
Рухаючись в ногу з часом, Технічний комітет 9.9 розробив «Директиву по мікроклімату для ЦОД-2011» - розширену класифікацію ЦОД і керівництво по її використанню.
Класи обладнання в залежності від параметрів мікроклімату
У таб. 1 представлені визначення класів згідно з Директивою 2011 року, а також класифікація 2008 року. Назви класів були змінені з метою більш простого визначення можливості застосування обладнання в ЦОД (в ЦОД можна застосовувати тільки обладнання класу «А»). Відповідність якомусь класу вимагає повної працездатності обладнання у всьому зазначеному діапазоні параметрів мікроклімату.
Таблиця 1. Параметри мікроклімату в ЦОД від 2008 і 2011 рр..
| 2008 | 2011 | Сфера застосування | ІТ-обладнання | Контроль параметрів мікроклімату |
| 1 | A1 | ЦОД | Сервери великих підприємств, системи зберігання даних | Точний контроль |
| 2 | A2 | Сервери, системи зберігання даних, персональні комп'ютери, робочі станції | Середній контроль |
| A3 | Середній контроль, по можливості використання фрікулінга |
| A4 | Середній контроль, практично постійне використання фрікулінга |
| 3 | B | Офісні, житлові приміщення, транспорт | Персональні комп'ютери, робочі станції, портативні комп'ютери, принтери | Мінімальний контроль |
| 4 | C | Точки продажу, промисловості, заводи | Устаткування точок продажів, комп'ютери, планшети | Без контролю |
Рис. 1 ілюструє раніше існуючу класифікацію, відповідну нинішнім класам А1 і А2, а також нововведені класи А3 і А4. У табл. 2 зібрані відповідні межі параметрів мікроклімату.
Рис. 1. Межі класів параметрів мікроклімату, введених ASHRAE в 2011 році для ЦОД. Зонування дано по температурі вхідного в ІТ-обладнання повітря. |
| Таблиця 2. Визначення параметрів мікроклімату в ЦОД від 2011р. Дані вказані для вхідного в ІТ-обладнання повітря. |
| Діапазон | Клас | Температура по сухому термометру,
° C | Діапазон вологості,% | Діапазон точки роси, ° C | Максимальна точка роси, ° C |
| Рекомендований | Всі А-класи | 18-27 | Не вище 60 | 5.5-15 | 15 |
| Допустимий | A1 | 15-32 | 20-80 | - | 17 |
| A2 | 10-35 | 20-80 | - | 21 |
| A3 | 5-40 | 8-85 | Не нижче
-12 | 24 |
| A4 | 5-45 | 8-90 | Не нижче
-12 | 24 |
| B | 5-35 | 8-80 | - | 28 |
| C | 5-40 | 8-80 | - | 28 |
Більшість потенційних місць розміщення ЦОД в світі відповідають класам А3 і А4, що припускає практично цілорічне використання фрікулінга. Нові дата-центри можуть працювати без чілерів, що спричиняє зниження капітальних витрат, у той час як інші ЦОД можуть забезпечуватися чиллерамі для забезпечення цілорічної доступності ІТ-сервісів. Додатково введені класи надають різні варіанти використання і пріоритети при експлуатації обладнання. Кожен ЦОД повинен бути оптимізовано під завдання його власника або оператора. І, незважаючи на безліч потенційних переваг від використання класів А3 і А4, необхідно зважити всі «за» і «проти», враховуючи можливий збиток.
Експлуатаційні обмеження
Рекомендований діапазон параметрів мікроклімату визначає межі, в яких досягається найвища надійність та енергоефективність ІТ-обладнання, згідно з даними його виробників. Рекомендований діапазон не повинен розумітися як жорстких лімітів, встановлених для температури і вологості входить до ІТ-стійки повітря. Даний діапазон служить відправною точкою в процесі експлуатації, коли у обслуговуючого персоналу ще недостатньо досвіду для розуміння оптимальних параметрів мікроклімату, які слід підтримувати в ЦОД. Майбутня третя редакція Директиви стане керівництвом за їх визначенням для всіх типів ЦОД: існуючих, модернізованих або знову зведених.
Експлуатація поза рекомендованого діапазону вимагає пошуку балансу між енергозбереженням системи охолодження і різними негативними ефектами (рис. 2).
 Рис. 2. Параметри, що впливають на визначення класів. |
При виборі класу конкретного дата-центру необхідно враховувати такі чинники:
Надійність. Висока надійність ІТ-обладнання несумісна з високими температурами його експлуатації. Проте використання економайзерів необов'язково викличе зниження надійності. У Директиві наводиться розрахунок надійності в залежності від температури експлуатації та тривалості її перевищення.
Енергоспоживання. Основна мета розширення допустимих меж параметрів мікроклімату - зниження загального енергоспоживання ЦОД. При підвищенні температури збільшується швидкість обертання вентиляторів ІТ-обладнання: чим ближче температура мікросхем до граничного значення, тим швидше обертаються вентилятори. Крім того, їх швидкість залежить від завантаження серверів. Споживана вентилятором потужність зростає непропорційно його швидкості.
Виробники можуть уникнути збільшення швидкості обертання вентиляторів при зростанні вхідної температури шляхом збільшення типорозмірів ІТ-обладнання, проте це призведе до збільшення його габаритів і вартості. Також при зростанні температури деякі кремнієві вироби споживають більше енергії через струмів витоку. Директива ASHRAE обумовлює можливість зміни енергоспоживання дата-центру при збільшенні температури на вході в ІТ-стійки.
Продуктивність і доступність. Багато виробників ІТ-обладнання оснащують свої пристрої модулем управління споживаної енергією в залежності від температури пристрою. Також в залежності від закладених виробником температурних параметрів, деякі системи можуть бути краще за інших пристосовані до даних конкретних умов. Системи, що дозволяють управляти своєю потенційною завантаженням у порівнянні з аналогічними пристроями, налаштованими на певну робоче навантаження, демонструють кращу продуктивність в більш широкому діапазоні умов експлуатації.
Корозія. Збільшений верхня межа допустимої вологості загрожує проблемами корозії. Ще більш гострою ця проблема стане в ЦОД, де присутні агресивні гази. Потенційна корозійна активність середовища залежить від місця розміщення ЦОД, і проектувальники повинні вивчити ці дані для обраної місцевості. Але навіть якщо відомо, що корозійна активність середовища низька, короткочасні перехідні процеси залишаються під загрозою.
Шум і повітряний потік. Як було сказано вище, збільшення температури в ЦОД веде до розгону вбудованих в обладнання вентиляторів. Одночасно відбувається і збільшення рівня шуму. Відповідно, на об'єкті повинні бути вжиті заходи щодо зниження шуму до нормативних значень.
Вартість. Для роботи при підвищеній температурі ЦОД потрібно більш дороге обладнання.
Електростатичні розряди. Пониження нижньої межі допустимої вологості в класах А3 і А4 збільшує ризик електростатичних розрядів. Однак виробники ІТ-обладнання закладають в свої пристрої відповідний захист згідно з міжнародними стандартами. Добре продумана захист від електростатики в ЦОД здатна запобігти більшості проблем, викликаних надмірною сухістю повітря.
Керівництво по рідинному охолодженню
Випущене в 2006 році керівництво по рідинному охолодженню в ЦОД в основному було сфокусовано на проектних можливостях ЦОД і не визначало можливі діапазони температур охолоджуючої рідини. У 2011 році Технічний комітет 9.9 оновив керівництво, виробивши класифікацію температурних діапазонів. Також новий документ закріплює деякі вимоги по взаиморасположению ІТ-обладнання та відповідних йому рідинних охолоджувачів.
Орієнтуючись на продуктивність, енергоефективність та використання викидною енергії, кілька діапазонів температур були підлаштовані під вимоги операторів ЦОД. Класи покрили широкий діапазон температур подається до обладнання води, що робить можливим впровадження різних схем рідинного охолодження.
Завдяки введенню розроблених класів, причому без строго вказівки, якого саме класу слід дотримуватися, виробники можуть розробляти свої продукти в залежності від потреб і побажань замовника.
Рідинне охолодження ІТ-обладнання
Збільшення теплової щільності сучасної електроніки збільшує величину нагріву повітря при охолодженні електронних компонентів серверного обладнання. Для вирішення цієї проблеми впроваджується пряме рідинне або фреонові охолодження. Здатність води або хладагента відводити велику кількість тепла з одиниці об'єму або маси дає значні переваги. А через робочих температур, пов'язаних з рідинним охолодженням, в ЦОД відмінно вписуються водяні економайзери.
У минулому високопродуктивні ЕОМ (мейнфрейми) часто охолоджувалися водою, що проходить по каналах, передбачених виготовлювачами. Сьогодні набувають поширення компоненти обчислювальних систем, також забезпечені герметичними каналами для подачі води від системи охолодження будівлі з можливістю впровадження водяних економайзерів. Жорсткість стандартизація варіантів з'єднання каналів із зовнішньою системою охолодження також сприяє більш широкому застосуванню рідинного охолодження.
Сьогодні можуть бути впроваджені кілька рішень з рідинним охолодженням, наприклад, теплообмінники, що встановлюються в задні двері ІТ-стійки, над нею або на бічній стороні. Інше рішення являє собою повністю закриту стійку, яка використовує повітря як робочої речовини і водоповітряного теплообмінник для відведення тепла назовні. Ще один спосіб - використання всередині стійки холодних пластин, по яких проходить охолоджувач. Модуль розподілу охолоджувача може бути як зовнішнім відносно стійки (рис. 3 А), так і розташовуватися всередині неї (рис. 3 Б).
На малюнках 3 А і 3 Б представлена взаємозв'язок ІТ-стійки з рідинним охолодженням і віддаленим теплоотводчіком.
 Рис. 3. Комбінація стійок повітряного і водяного охолодження з модулями розподілу охолодження (МРО). А - зовнішній МРО, в - внутрішній МРО. |
Характеристики подається рідини
Рідина, що подається до ІТ-обладнання, являє собою підготовлену воду, водний розчин, холодоагент або діелектрик. Відповідність класу рідинного охолодження означає повну функціональність обладнання при роботі з рідиною, що має характеристики даного класу.
Розробникам ІТО, працюючим з більш високими подаються температурами, як зазначено в таб. 3, буде потрібно підтримувати температуру охолоджуваних рідиною компонентів всередині заданого діапазону. У цілому чим вище температура подаваної рідини, що охолоджує, тим вище і вартість системи рідинного охолодження.
Таблиця 3. Класи рідинного охолодження ASHRAE
| Клас | Концепція охолодження | Температура води, що подається від системи охолодження будівлі, ° C |
| Основне обладнання для тепловідводу | Допоміжне обладнання для тепловідводу |
| W1 | Чиллер / градирня | Водяний економайзер (з драйкулером або градирнею) | 2-17 |
| W2 | 2-27 |
| W3 | Градирня | Чиллер | 2-32 |
| W4 | Водяний економайзер (з драйкулером або градирнею) | - | 2-45 |
| W5 | Система опалення будівлі | Градирня | Більше 45 |
Класи W1/W2. Зазвичай дата-центри цих двох класів охолоджуються за допомогою чілерів і градирень, але, в залежності від свого розташування, можуть оснащуватися водяним економайзером (функцією фрікулінга для чилерів. - Прим. Переклад.) Для підвищення енергоефективності (рис. 4 А).
Клас W3. У більшості місць розміщення ЦОД цього класу Чиллерні система охолодження може не використовуватися. Але в деяких регіонах використання чілерів і раніше необхідно.
Клас W4. ЦОД класу W4 працюють без Чиллерні охолодження, що забезпечує економію енергії і зниження капітальних витрат.
Клас W5. ЦОД класу W5 працюють не тільки без Чиллерні охолодження, але і з використанням викидною енергії: нагріта ІТ-обладнанням вода направляється на опалення офісних площ обчислювального комплексу в зимовий час і для їх кондиціонування допомогою абсорбційних холодильних машин в літній час.
Класи W1-W3 були розроблені ASHRAE спільно з Робочою групою з енергоефективності високопродуктивних обчислювальних систем (Energy Efficient High Performance Computing Working Group), що є частиною Національної лабораторії ім. Лоуренса в Берклі (штат Каліфорнія, США).
На даний момент обладнання класу W3-W5 не існує. Поява даних продуктів в перспективі буде продиктовано вимогами ринку. Очікується, що виробники в майбутньому знайдуть компроміс між вартістю обладнання та його продуктивністю. У той же час ці класи дозволять знизити вартість інфраструктури ЦОД при їх розміщенні в певних регіонах. Вибір класу рідинного охолодження в ЦОД повинен враховувати сукупну вартість володіння: як капітальні витрати, так і експлуатаційні.
Додамо, що ІТ-обладнання на рис. 4 А та 4 Б має включати в себе блоки розподілу охолоджувача, якщо температура одержуваної від будівлі води нижче точки роси.
 Рис. 4. Схеми рідинного охолодження. |
Експлуатаційні характеристики
Для класів W1 і W2 температура охолоджуваної води повинна бути обрана, виходячи з експлуатаційних вимог. Бажано прагнути до оптимальних значень між високими температурами холодоносителя, для яких характерна висока енергоефективність, і низькими температурами, що знижує капітальні витрати.
Для класів W3, W4 і W5 температура охолоджуваної води залежить від кліматичної зони, в якій розташований ЦОД. При цьому дата-центр може працювати без чілерів. Тому надзвичайно важливо визначити межі застосування водоохолоджуваних обладнання і можливість його інтеграції в інфраструктуру, призначену для забезпечення безперебійної роботи.
Згідно з вимогами класу W5 інфраструктура повинна дозволяти відводити тепло ЦОД до найближчих будівель. Температура відводиться води (нижня межа - 113 ° F або 45 ° C) може залежати від багатьох параметрів, таких як: кліматична зона, вимоги системи опалення будівлі, відстань до нього, наявність будівель по сусідству. При цьому, безумовно, саме будівля повинна підлаштовуватися під параметри води з ЦОДа, а не навпаки.
Висновки
Теплове проектування ІТ-обладнання увазі тонке балансування між продуктивністю, надійністю, вартістю і енергоспоживанням. Крім того, проект ЦОД повинен оптимізувати енергоспоживання електроніки і системи охолодження. Розуміння цього компромісу надзвичайно важливо для вироблення дійсно енергозберігаючих рішень.
Відповіддю на тенденцію до оптимізації енергоспоживання ЦОД стало розширення Технічним комітетом 9.9 ASHRAE набору класів повітроохолоджувальною ІТ-обладнання та визначення класів обладнання з рідинним охолодженням. Це дозволяє знайти компроміс між продуктивністю ІТ-обладнання, його надійністю, вартістю і енергоспоживанням, а також енергоспоживанням системи охолодження. Обидва керівництва містять інформацію, яка дозволить більшій кількості операторів ЦОД досягти істотного енергозбереження системи охолодження і зниження коефіцієнта використання енергії.
Холодоагенти серії Solstice відрізняються високою ефективністю, зручністю використання та безпекою та забезпечують екологічно чистіший спосіб охолоджування продуктів харчування і напоїв, транспортних засобів, житлових і виробничих приміщень.
Компанія Aermec виводить на кліматичний ринок СНД нові теплові насоси класу «повітря - вода» серії SWP, призначені для установки усередині приміщення і роботи в системі ГВП, оптимально відповідні для використання в заміських будинках, невеликих готелях, ресторанах.
В асортименті повітророзподільних пристроїв Systemair з'явилися припливні щілинні дифузори Hella, призначені для подачі як нагрітого, так і охолодженого припливного повітря в приміщення висотою від 2,5 до 3,5 м. Для забезпечення оптимальних швидкостей повітря в робочій зоні максимально допустима різниця температур становить 12 ° C. Щілинні дифузори Systemair Hella виготовлені з профільованого алюмінію, покритого білою порошковою фарбою, і мають дефлектори, що дозволяє регулювати розподіл повітряного потоку на 360 градусів.