Иммерсионное охлаждение
Увеличение сложности задач приводит к увеличению производительности современной электроники. Как следствие, возрастает энергопотребление, и устройства при работе выделяют всё больше тепла. Иммерсионное охлаждение видеокарт, процессоров, микросхем и асиков стало неотъемлемой частью профессиональной жизни майнеров и поклонников криптовалю
Несмотря на схожий принцип действия различных систем иммерсионного охлаждения, рынок предлагает множество их вариаций, причём определить их ключевые различия и преимущества сходу практически невозможно. Ниже приведён опыт использования различных технологий с описанием плюсов и минусов каждой из них.
Перегрев: причины и последствия
В наши дни, практически любое электронное устройство работает от силы тока, заключённой либо в батарейке, либо в аккумуляторе, либо в блоке питания, подключаемом напрямую к источнику тока. Причём при активном использовании электроприборы выделяют тепло: будь то нагревание смартфона при использовании нескольких задач одновременно (скачивание программ, прослушивание музыки и игра в приложениях) или отключение компьютера, сопровождающееся перегреванием, при игре в «тяжёлую» онлайн-стратегию или шутер без кулера.
Выполнение любых задач на электронных устройствах происходит за счёт подачи тока на микросхемы, которые в большинстве своём состоят из полупроводников. Суть полупроводникового материала состоит в том, что при разных условиях (температуре, напряжении и так далее) они либо проводят электрический ток, либо нет. А большинство самих устройств действует по принципу транзистора.
Схематически функционирование транзистора можно описать через три слоя полупроводников. При подаче напряжения на «крайние» слои (1й и 3й) ток протекать не будет, однако подача напряжения на второй слой приведёт к условно беспрепятственному току между 1м и 3м слоями. Конечно современные транзисторы имеют несколько более усложнённую структуру, однако схема показывает, что током можно управлять с помощью затвора почти так же, как и подачей воды через водопроводный кран.
Причём особое внимание при таком управление направленно именно на процесс перехода между закрытым и открытым состояниями, когда соответственно ток не течёт и течёт беспрепятственно. Дело в том, что именно в короткий момент переключения из одного состояния в другое ток течёт хуже всего, что приводит к нагреванию транзистора. Понимание причин нагрева и экстраполяция их на более сложные механизмы, как например современные процессоры, даёт возможность избежать нежелательных последствий от излишнего нагревания. Производительность процессоров на данный момент может достигать 4 гигагерц, что говорит о том, что в секунду ими совершается 4 миллиарда переключений, которые греют устройство. А разгон процессора, приводит к серьёзному нагреву по причине увеличения числа таких переключений. В частности, при разгоне процессора устройство способно обнаружить собственную некорректную работу, передать эту информацию операционной системе, которая в свою очередь оповестить пользователя о сбое через так называемый «синий экран смерти». Повторение таких ошибок может полностью вывести один из транзисторов из строя, что приведёт к регулярным сбоям и окончательной поломке всего процессора.
Очевидно, что транзистору для корректной работы необходимо оставаться в состоянии низкой температуры. В противном случае электрический ток будет проводиться постоянно даже в случаях, когда это не требуется. Таким образом, чем быстрее процессор, тем выше скорость его нагревания, и тем выше вероятность некорректной работы транзисторов. При этом с развитием технологий ежегодно скорость процессоров и количество транзисторов возрастает, хотя размер агрегата остается по-прежнему небольшим (как, например, в случае с процессорами Intel 486 на 33 МГц и новым поколением Intel i7 на 3,8 ГГц)
Стремление к скорости, непредусмотренной техническими характеристиками устройства, может нарушить необходимый температурный режим, привести к проблемам с быстродействием системы и необходимостью замены самого процессора.
Наиболее простым и распространённым подходом к охлаждению процессоров является использование радиатора с вентилятором, где вентилятор воздействует на радиаторные ребра, тем самым снижая температуру и отводя тепло от устройства.
Такой принцип применим как для CPU, так и для GPU. Последние нагреваются сильнее, так как в их работе задействованы практически все имеющиеся внутри транзисторы. Средняя мощность в 90 и 200 Вт для CPU и GPU соответственно обусловила разницу размеров радиаторов для них, увеличив их для видеокарт.
Дополнительные сложности возникают при решении вопроса снижения температуры устройств с высокой вычислительной мощностью. В частности, по причине того, что мощность серверного оборудования может составлять несколько десятков кВт на один квадратный метр. Так, помимо температурного режима, необходимо следить за микроклиматом в целом, а особенно за влажностью, избыток которой может привести к коротким замыканиям и возгоранию электротехники. Ещё одну опасность представляет пыль, которая забивает радиаторы и снижает эффективность работы кулеров, что так же может привести к перегреву и замыканиям.
Классические и альтернативные методы охлаждения воздухом
Простота и доступность организации воздушного охлаждения по-прежнему делают этот способ одним из наиболее применимых среди производителей серверной техники. Большинство серверных помещений проектируются с учётом необходимости вентилирования и с разделением на коридоры холодных и горячих воздушных масс. Для решения вопросов обеспечения микроклимата серверные оснащаются специальными установками, включающих в свой состав мощные кондиционеры. Хотя почему-то тот факт, что мощные установки потребляют большое количество энергии, выделяя такое же количество тепла в тех же серверных, остаётся без внимания. И данная ошибка является широко распространённой.
Решением является альтернативная технология – фрикулинг. Она подразумевает поступление воздуха снаружи, вентилирование, отвод тёплого воздуха за пределы серверной. Однако в свою очередь такая альтернатива не решает проблему создания микроклимата в помещении для жарких стран, а также никак не препятствует появлению пыли и влажности в серверных, что опасно для оборудования и может привести к замыканию.
Иммерсионная система охлаждения
Как говорится, современные проблемы требуют современных решений. Именно таким образом иммерсионное охлаждение стало популярно среди пользователей мощного технического оборудования. Сама технология не является новинкой, а её разработки и поиски путей применения при работе с электроникой велись давно, что полностью оправдалось запуском на рынке – популярность иммерсионного охлаждения ежегодно растёт поразительными темпами.
Название «иммерсионное» означает сам способ охлаждения, которые проводится через погружение. При использовании данного способа вся техника, включая платы серверов, процессоры, жёсткие диски, блоки питания, видеокарты, погружаются в специальный жидкий диэлектрический состав (при любых других видах жидкости работы электротехнического оборудования была бы невозможна). Однако различные типы иммерсионного охлаждения обуславливают и различные методы их эксплуатации. К таким типам относится иммерсионное охлаждение с фазовым переходом и без такового.
Например, минеральное масло уже давно применялось для контроля температуры силовых трансформаторов. Оно имеет низкую стоимость, при этом характеризуется умеренной теплоёмкостью и диэлектрическими свойствами.
Более современным примером является Crystal plus 70t – жидкость, произведённая компанией STE, которая используется для иммерсионного охлаждения. При этом она так же является диэлектрической и характеризуется высокой теплоёмкостью. Схематически это можно изобразить, обратившись к простым физическим законам:
- Жидкость нагревается при передаче энергии, измеряемой в Джоулях, между более теплым и холодным объектами (соответственно от тёплого к холодному).
- Один Джоуль равен нагреву тела одним Вт за одну секунду.
- В течение одной секунды средняя видеокарта способна выделить около 200 Дж тепла (т.е. 200 Вт, умноженные на 1 секунду), а за одну минуту 12000 Дж или 12 кДж (200 Вт, умноженные на 60 секунд).
- При этом изменение температуры видеокарты напрямую зависит от её массы и теплоёмкости (стакан воды объемом 200 мл закипит значительно быстрее, чем кастрюля объемом 5 л).
Чтобы понять насколько нагревается сама видеокарта, можно представить, сможет ли она разогреть воду объемом 1л и за какой период:
- один литр воды весит приблизительно 1 кг, а его теплоёмкость составляет 3800 Дж на килограмм на Кельвин (или математически 3800 Дж/(кг*К)). Проще говоря, чтобы нагреть 1 кг воды на 1 градус по Кельвину необходимо 3800 Дж энергии.
- При этом мощность средней видеокарты, как было подсчитано ранее, составляет 12000, следовательно, за минуту видеокарта может нагреть 1 кг более, чем на 3 градуса (12000 Дж/3,8=3,15). За 10 минут вода станет теплой на 31 градус, а при достижении 90 градусов уже по Цельсию, появится сбой в работе устройства.
- Однако, если сменить уже нагретую воду через 10-20 минут после начала работы видеокарты, на новую и холодную, то видеокарта охладится, а процесс нагрева будет запущен заново. Таким образом самого перегрева не произойдёт.
Смена воды – схематическая иллюстрация, описанная, чтобы понять, как сильно греется видеокарта и как можно избежать самого перегрева. Технически менять воду раз в какой-то период не только неудобно, но и опасно. Несмотря на это данная схема была успешно реализована на предприятиях для охлаждения помещений путём прокладывания труб с притоком холодной и оттоком горячей воды. Однако для работы с электроникой, актуальнее всё же будет минеральное масло.
Снова-таки схематически действие минерального масла можно описать следующим образом:
- Вес 1 литра масла равен 0,85 кг, а теплоёмкость составляет 1800 Дж/(кг*К).
- Литр масла нагреется за 1 секунду на 1 градус за 1500 Дж (1800*1*0,85).
- Литр масла нагреется за 1 секунду видеокартой на 8 градусов (12000/15000=8), что гораздо быстрее, чем при использовании воды как охладителя.
Однако, как говорилось выше, за счёт диэлектрических свойств масла нет необходимости подавать его в трубах. Достаточно поместить оборудование в ёмкость с ним, чтобы обеспечить процесс охлаждения. Однако само масло всё равно будет греться и при достижении высокой температуры перестанет остужать оборудование, что станет причиной сбоев в его работе.
Первый способ решить проблему – увеличить ёмкость с маслом, чтобы удлинить промежуток времени, за которое масло будет греться. Однако такой подход является экономически невыгодным.
Второй – настроить систему отвода горячего минерального масла, остужать его вне иммерсионной ванны в то время, как новый поток холодного масла будет поступать к оборудованию. Этого можно достичь с помощью дополнительной установки радиатора вне иммерсионной системы, где масло и будет охлаждаться обычным (уличным) воздухом, который сам по себе в любом случае холоднее, чем масло.
При выборе второго метода необходимо учитывать скорость охлаждения иммерсионной жидкости холодным воздухом через радиатор. Она должна быть не ниже, чем те же 8 градусов в секунду. В противном случае масло всё равно будет нагреваться, хоть и медленнее. Для соблюдения данных условий ключевым будет именно выбор радиатора с техническими характеристиками по заданным параметрам. Помимо радиатора важно также учитывать производительность используемого для подачи уже охлаждённого масла насоса. Его основная задача – обеспечить прохождение всего цикла 1 литром масла за минуту. Причём циркуляция масла зависит от его вязкости: чем выше вязкость, тем медленнее осуществляется движение. В таком случае на скорость прямо пропорционально повлияет мощность насоса, диаметр труб и размеры радиатора.
Если применять данный тип охлаждения, к примеру, к майнинговым фермам, состоящим из 100 видеокарт, то речь пойдёт о 20 кВт и 12 тДж. Причём для их охлаждения насосу необходимо будет прогнать 100 литров масла за 1 минуту. К сожалению, применить такой подход для охлаждения 500 и 1000 видеокарт физически крайне трудно.
Тем более ценным является применение двухфазного иммерсионного охлаждения с жидкостью Novec, которую зачастую описывают как летучую, быстро испаряемую и дорогую. Однако её принцип действия полностью оправдывает такие характеристики.
Преимущества иммерсионного охлаждения
Независимо от того, используется само минеральное масло или иммерсионная жидкость Novec, оба подхода обладают следующими преимуществами сравнительно с классическим воздушным охлаждением:
- Энергоэффективность, так как нет необходимости в использовании дополнительных приборов, как например при подключении вентилятора или кондиционера. На данный момент коэффициент PUE стал важным параметром в оценке эффективности работы дата-центров и ферм, который рассчитывается как отношение суммарной мощности потребления всего центра к мощности самих вычислительных систем. Чем ниже такой коэффициент, тем более эффективным образом построена работа дата-центра. При использовании иммерсионных систем средний коэффициент приближается к 1, в то время как при использовании воздушного охлаждения минимальный показатель – 1,5.
- Отсутствие водного конденсата, опасного для электроники;
- Отсутствие пыли, которая мешает проветриванию.
Воздушное охлаждение не сможет конкурировать в эффективности с технологичным иммерсионным, хотя и является более простым и доступным. Однако для тех, кому важно развитие, и кто хочет достигать большего выбор становится очевиден.