數據中心浸沒式液冷技術研究

熱設計 2022-04-01

1引言

隨著人工智能?物聯網?加密貨幣?AR/VR等計算密集型應用的快速發展,日益增長的計算需求使數據中心逐漸向“高性能?高密度?高能耗”發展?國家能源局數據顯示,2020年我國數據中心耗電量突破2000億千瓦時,占全國總用電量的2.7%?數據中心的能耗大致由通信及網絡設備?供電配電系統?照明及輔助設備和冷卻系統組成,其中冷卻部分的能耗約占數據中心總能耗的40%左右?提高數據中心冷卻系統效率,降低能耗對實現“雙碳”目標至關重要?

常見的液體冷卻方式包括冷板式?噴淋式和浸沒式三種?其中,浸沒式液冷傳熱效率最高且能避免局部熱點,是目前最有可能解決高性能計算環境中散熱系統所面臨各種問題的技術手段?本文將圍繞浸沒式液冷技術,對該技術的技術優勢?實現方案?商業化進展和應用現狀以及未來發展面臨的問題和挑戰進行介紹?

2浸沒式液冷技術的優勢

作為助推下一代大數據中心全新發展的引擎,浸沒式液冷技術的優勢主要體現在以下幾個方面:

2.1更高的能源利用率

浸沒式液冷使用冷卻液作為熱傳輸媒介,液體具有更高的導熱率和比熱容,因此可以更快地傳導以及更有效地吸收熱量?同時,因為減少了風扇和空調的使用,采用浸沒式液冷技術的數據中心具有更低的PUE?根據UptimeInstitute的調查數據,2021年全球大型數據中心平均PUE為1.57,其中采用傳統風冷技術的數據中心PUE一般在1.8左右,而采用液冷技術的數據中心,無論項目的規模大小?所處的維度及氣候區,幾乎都可以將PUE控制在1.1以內?

2.2更高的功率密度

浸沒式液冷可以大幅提高數據中心單位空間的服務器密度,從而更好地支持高密度計算?傳統數據中心采用空氣冷卻系統,可冷卻的機架功率密度通常為10kW-15kW,而浸沒式液冷可以將單機架功率提升到100kW甚至200kW以上,因此完全可以滿足高密度計算場景對散熱的需求?

2.3更高的設備可靠性

美國空軍航空電子整體研究項目(USAirForceAvionicsIntegrityProgram)認為,溫度?振動?濕度和粉塵是造成電子設備故障的主要因素?

浸沒式液冷可使IT設備始終工作在適宜的溫度,浸沒環境有效避免了濕度(空氣中的水會造成元器件的銹蝕,而冷卻液可以保護設備)?灰塵等對設備的不良影響?此外,因服務器和機房不再需要風扇,從而有效解決了噪音和振動問題?

2.4更高的空間利用率

浸沒式液冷優異的散熱性能使服務器可以緊密排列,無需隔開距離,同時無需配置風扇,機房內也不需要空調和冷凍機組,無需安裝冷熱通道封閉設施,更不需要架空地板,因此浸沒式液冷比傳統冷卻方案具有更高的空間利用率?

2.5更節省用水

一項關于數據中心用水量的研究指出,全美數據中心每天的用水量高達17億升,而這其中55%為可飲用水?巨大的用水量不僅增加了運營成本,在對水資源使用量有限制的地區還將面臨監管壓力?傳統的空氣冷卻技術通常需要使用大量的水進行蒸發降溫?浸沒式液冷技術的冷卻液可以在較高溫度下工作(可達45℃),即使在較熱的氣候條件下,仍可有效利用自然冷卻,減少了對主動排熱設備的需求,因此更節水?

3浸沒式液冷的實現方案

浸沒式液冷將IT設備直接浸泡在冷卻液中,依靠冷卻液吸收設備產生的熱量?按照冷卻液在循環散熱過程中是否發生相變,可以分為單相浸沒式液冷和雙相浸沒式液冷?

3.1單相浸沒式液冷

在單相浸沒式液冷系統中,IT設備所有的發熱組件都完全浸沒在循環的不導電的冷卻液中,設備發出的熱量直接傳遞給冷卻液?單相浸沒式液冷的冷卻液通常具有較高的沸點,冷卻液吸熱后并不會發生相變,始終維持在液態?

單相浸沒式液冷通過自然對流或泵驅動冷卻液的循環?自然對流驅動的循環散熱過程,利用了液體受熱后體積膨脹密度減小的特點,較熱的冷卻液會自然上浮,之后被連接到外部冷卻回路的熱交換器冷卻?冷卻后的液體在重力的作用下自然下沉,完成循環散熱?

與自然對流相比,用泵驅動循環冷卻液的方式可以更有效的提高冷卻能力?由泵?熱交換器?傳感器?過濾器組成的裝置被稱為冷卻液分配單元(CDU,CoolantDistributionUnit),利用CDU可以更加精確地控制冷卻液的溫度和流速?較冷的冷卻液在泵的驅動下流經發熱元件,將熱量帶走?被加熱的冷卻液在泵的驅動下進入熱交換器被降溫,之后在泵的作用下繼續循環?熱交換器一般用水作為冷卻介質,熱量最終通過循環冷卻水系統排出?

單相浸沒式液冷的工作原理如圖所示?

單相浸沒式液冷通常選擇沸點較高的冷卻液,以確保冷卻液在循環散熱過程中始終保持液態?氟碳化合物和碳氫化合物(例如礦物油?合成油?天然油)均可用于單相浸沒式液冷?目前3M和Shell等企業都在生產用于單相浸沒式液冷技術的冷卻液,不同的是3M的冷卻液為氟化液,而Shell的冷卻液為天然氣制成的合成油,屬于碳氫化合物?

部分適用于單相浸沒式液冷的冷卻液主要參數如表1所示?

單相浸沒式液冷的優勢體現在兩個方面,一是冷卻液價格相對更低,部署成本更低;二是冷卻液無相變,無需擔心冷卻液蒸發溢出或人員吸入的健康風險,更有利于維護?

3.2雙相浸沒式液冷

在雙相浸沒式液冷中,冷卻液在循環散熱過程中不斷經歷從液態到氣態再從氣態回到液態的相變過程?IT設備完全浸沒在裝有低沸點冷卻液的密閉罐體中,設備發出的熱量被冷卻液吸收,冷卻液吸熱后溫度升高,達到沸點后開始沸騰,由液態相變為氣態,同時產生大量的蒸汽?蒸汽從液體中升起逃逸至液面上方,在液冷罐體內形成氣相區?氣相區的冷卻液蒸汽與水冷冷凝器接觸,熱量被冷凝器吸收,冷卻液凝結成液體以液滴的形式落回容器中再次循環,而冷凝器中被加熱的冷卻水則通過循環冷卻水系統完成排熱?

雙相浸沒式液冷的工作原理如圖3所示:

為了能有效利用冷卻液的相變過程,并控制IT設備的溫度,用于雙相浸沒式液冷的冷卻液不僅要有良好的熱物理性能?化學及熱穩定性?無腐蝕性,還需要合適的沸點?比較窄的沸程范圍以及較高的汽化潛熱?硅酸酯類?芳香族物質?有機硅?脂肪族化合物及氟碳化合物等都被嘗試應用于雙相浸沒式液冷?其中,氟碳類化合物綜合性能最好,因此較為常用?目前,3M公司是全球生產浸沒式電子氟化液的領先企業,其生產的Fluorinert?電子氟化液與Novec?電子工程液均有不同型號可以用于雙相浸沒式液冷?兩者均有優良的熱穩定性和化學穩定性?無味?不可燃?非油基?低毒性?無腐蝕性,可為數據中心提供可信賴且可持續的解決方案?

部分適用于雙相浸沒式液冷的冷卻液主要參數如表2所示?

雙相浸沒式液冷充分利用了冷卻液的蒸發潛熱,可以滿足高功率發熱元件對散熱的極端要求,使IT設備可以保持滿功率運行?但相變的存在也使得雙相浸沒式液冷系統必須保持密閉,以防止蒸汽外溢流失,同時必須考慮相變過程導致的氣壓變化,以及系統維護時維護人員吸入氣體的健康風險?

4商業化和應用案例

近年來,浸沒式液冷相關技術日趨成熟,國內外已有多家企業開始面向客戶提供針對不同散熱需求下的浸沒式液冷技術解決方案,一些科技公司也已開始將基于浸沒式液冷的散熱系統實際部署在他們的數據中心?

阿里云作為國內市場占有率第一的云服務提供商,是最早探索和實踐大規模液冷方案的科技公司之一?2020年1月,阿里云宣布向全社會開放“浸沒液冷數據中心技術規范”,2020年9月,仁和數據中心開服,PUE設計值1.09,相比傳統風冷數據中心每年可節省3000萬度電;2021年12月,阿里云發布磐久系列液冷一體機ImmersionDC1000,整體能耗可下降34.6%?

與阿里云采用單相浸沒式液冷技術路線不同,微軟對雙相浸沒式液冷技術進行了測試?2021年4月,微軟發布消息稱其使用自研的冷卻液,在位于華盛頓州昆西市的Azure數據中心采用了雙相浸沒式冷卻技術,據微軟發布的消息,雙相浸沒式液冷可以將服務器的功耗降低5%到15%?

在浸沒式液冷解決方案的供給端,國內外均有企業在積極布局?例如,總部位于美國的GreenRevolutionCooling主要提供數據中心單相浸沒式液冷解決方案,面向高性能計算?邊緣數據中心?區塊鏈和加密貨幣等場景提供具有完整冷卻和電力基礎設施的一站式模塊化數據中心;總部位于荷蘭的Asperitas采用自然對流驅動的單相浸沒式液冷技術,其HPCzone系列產品可為各種高性能計算場景提供一站式解決方案?在國內,浪潮信息于2018年推出了小型可移動的浸沒式液冷超算TS4220LC;中科曙光旗下的曙光數創推出了相變浸沒式液冷配套解決方案C8000,聲稱能夠將PUE值降到1.05以下?

5面臨的問題與挑戰

根據MordorIntelligence的報告,2020年全球數據中心浸沒式液冷市場的整體規模為2.97億美元,預計到2026年將達到7.03億美元,期間復合年增長率為15.27%?盡管預期增速較快,但現階段在推動數據中心快速擁抱浸沒式液冷技術的進程中,仍面臨不少阻礙和挑戰?包括:

5.1應用場景限制

UptimeInstitute的調查顯示,2020年全球數據中心的平均功率密度僅為8.4kW/r,其中只有3%的數據中心的功率密度超過50kW/r?因此,盡管浸沒式液冷技術的散熱性能極佳,但除了加密數字貨幣挖礦等特定場景外,常規數據中心將傳統散熱方案升級為浸沒式液冷的需求并不強烈?此外,浸沒式液冷的能效水平在低負載場景下可能會被削弱,嚴遜等人搭建了浸沒式液冷實驗臺,利用假負載測試得到不同室外溫度?不同負載功率下的pPUE(局部PUE)在1.05-1.28之間,同時發現pPUE隨著負載上升而降低?