液冷技術是指使用液體取代空氣作為冷卻介質,為服務器發(fā)熱部件進行散熱的技術。液冷技術的高效制冷效果有效提升了服務器的使用效率和穩(wěn)定性,在單位空間可以集成更多的服務器,提高數據中心運算效率,因減少或取消風扇而兼具降噪、減少故障點的優(yōu)勢,余熱利用也可為數據中心創(chuàng)造更多附加價值。
01 液冷是高密度IDC能耗優(yōu)化的技術趨勢
當前,福建省現網數據中心機架規(guī)模已近5萬個標準機架(2.5kw/機架),平均實測PUE(Power Usage Effectiveness,電能利用效率)為1.69,距離國家提出“2025年新建大型、超大型數據中心PUE要低于1.3”的要求還有一定差距,需要行業(yè)通過節(jié)能改造、加快市場拓展、升級迭代等多措并舉,推動行業(yè)綠色低碳化高質量發(fā)展。

數據中心是眾所周知的行業(yè)耗能大戶,其中散熱能耗占比超40%。據賽迪研究院統(tǒng)計,43%的能耗是用于數據中心設備散熱,與數據中心設備自身能耗45%基本持平。根據中國信息通信研究院的研究,數據中心電費占數據中心TCO(整體運營支出)的60%~70%。可見,實現更高效的散熱,無論是對于數據中心節(jié)能降耗、減少TCO,還是推動數據中心朝著大型化、智能化方向發(fā)展都具有重大意義。
相比傳統(tǒng)風冷技術,液冷的優(yōu)勢體現在三個方面。
一是液冷技術的高效制冷效果(液體帶走熱量是同體積空氣的3000倍,液體導熱能力是空氣的25倍)有效提升了服務器的使用效率、降低故障率,同時使得數據中心在單位物理空間可以部署更多的服務器,提高數據中心運算效率。
二是液冷技術的應用,替代了傳統(tǒng)數據中心的風扇、精密空調等風冷基礎設施,相應增加了循環(huán)泵及冷卻液系統(tǒng),與傳統(tǒng)的空調系統(tǒng)相比噪聲更小。
三是液冷技術應用不受海拔、氣壓等地域影響,可以保持較高的散熱效率,保證數據中心在高海拔地區(qū)的運行效率和性能,余熱還可以滿足附近居民的供暖、溫水供應等需求,為數據中心創(chuàng)造更多的附加價值。
因此,液冷替代風冷是高密度數據中心演進不可或缺的散熱技術方向。
02 數據中心液冷技術
按照冷卻液與發(fā)熱器件的接觸方式,行業(yè)將液冷技術分為“間接接觸型”和“直接接觸型”兩大類。
間接接觸型液冷技術
冷板式液冷是最典型的間接接觸型液冷技術。冷板式液冷系統(tǒng)中,服務器芯片等發(fā)熱器件不直接接觸冷卻液,而是通過裝配在需要冷卻的電子元器件上的冷板(通常是銅、鋁等高導熱金屬構成的封閉腔體)將熱量間接傳導給封閉在循環(huán)管路中的冷卻液體,通過冷卻液體將熱量帶走的一種散熱方式。
冷板式液冷數據中心散熱系統(tǒng)架構由室外(一次側)和室內(二次側)兩部分組成,室外冷卻塔中的冷卻液通過室內冷卻液體流量分配單元(CDU)提供冷卻液循環(huán)動力,經冷卻液體流量分配單元(CDU)二次側輸出并與服務器中CPU、GPU、內存等發(fā)熱量大的電子元器件導熱冷板直接進行熱交換,形成的熱液經冷卻液體流量分配單元(CDU)輸出到室外冷卻塔進行冷卻后再循環(huán)。而服務器中的硬盤、電源等其他發(fā)熱量相對小一些的器件或單元還是得需要通過傳統(tǒng)風冷方式散熱。
直接接觸型液冷技術
直接接觸型液冷技術是將發(fā)熱部件直接浸沒在不導電的冷卻液體中,利用冷卻液體蒸發(fā)(相變)和液體的循環(huán)流動帶走熱量的一種散熱方式。
浸沒式液冷是最典型的直接接觸型液冷技術,顧名思義就是將服務器浸沒在特殊設計(或定制化設計)的箱體TANK中。浸沒式液冷由于發(fā)熱部件與冷卻液體直接接觸,相比冷板式液冷技術,浸沒式液冷散熱效率更高,噪音更低(完全沒有風扇),更加節(jié)能。
而根據冷卻液體是否存在相態(tài)改變,浸沒式液冷還可以進一步分為“浸沒式單相液冷”和“浸沒式相變液冷”兩種。
浸沒式單相液冷。在浸沒式單相液冷中,冷卻液始終保持液體狀態(tài),發(fā)熱部件直接浸沒在冷卻液中,熱量從發(fā)熱部件直接傳導到冷卻液中,循環(huán)泵將吸收了熱量的冷卻液(熱液)導入熱交換單元,在熱交換單元中冷卻后再循環(huán)回到箱體中為發(fā)熱部件散熱,冷卻液在循環(huán)散熱過程中始終維持液態(tài),不發(fā)生相變。
浸沒式單相液冷技術要求冷卻液的沸點較高,以確保冷卻液(一般為礦物油、合成油、天然油等氟碳化合物和碳氫化合物)在循環(huán)散熱過程中始終保持液態(tài),冷卻液揮發(fā)流失控制相對簡單,與IT設備的電氣兼容性較好,且不需要頻繁補充冷卻液,還可以比較方便地卸載或更換服務器組件,提高了系統(tǒng)的可維護性。目前市面上商用的浸沒式液冷應用案例大部分是采用浸沒式單相液冷系統(tǒng)。
浸沒式相變液冷。浸沒式相變液冷的冷卻液在循環(huán)散熱過程中,不斷經歷從液態(tài)到氣態(tài),再從氣態(tài)回到液態(tài)的相變。IT設備完全浸沒在充滿低沸點冷卻液的密閉箱體中,冷卻液受熱沸騰變?yōu)檎羝?,蒸汽上升遇到機箱上部冷凝器而冷凝變?yōu)橐后w,繼續(xù)回到箱體內部冷卻循環(huán)。冷凝器外接冷源進行換熱,將熱量傳遞到外界散熱并反復循環(huán)。通過冷卻液在機箱內循環(huán)和冷凝器內乙二醇水溶液的外循環(huán)(雙循環(huán)系統(tǒng))實現高效散熱,確保服務器運行穩(wěn)定。
由于冷卻液在循環(huán)散熱過程中發(fā)生了相變,相變液冷傳熱效率更高,并且無需泵機驅動冷卻液體循環(huán),因此浸沒式相變液冷相比冷板式液冷和浸沒式單相液冷,具有更優(yōu)的傳熱效果,可以滿足高發(fā)熱元器件對散熱的極端要求,使得服務器可以保持滿功率運行,是液冷中最節(jié)能、最高效的制冷模式。但是,由于冷卻液蒸發(fā)為氣態(tài)過程中會發(fā)生蒸汽外溢流失,浸沒式相變液冷對于冷卻液揮發(fā)流失控制更為復雜,所以對服務器箱體的密封性以及箱體的壓力有一定的要求,同時還必須考慮相變過程的氣壓變化,以及系統(tǒng)維護時可能造成維護人員吸入氣體的健康風險。另外,冷卻液本身易受到污染,需要預處理和污染控制以確保系統(tǒng)的正常運行;浸沒式液冷對于服務器板件的維護操作有所改變等。這些都是浸沒式相變液冷技術成熟和商用化進程需要面對的挑戰(zhàn)。
03 數據中心液冷化改造建設
數據中心液冷化改造適用技術
技術成熟情況。通過近些年的發(fā)展,冷板式液冷技術相比浸沒式液冷技術更為成熟、生態(tài)比較完善。理論上,冷板式液冷技術對現有服務器芯片組件及附屬部件改動量較小,液冷化改造可操作性相對較強。對于當前的數據中心整體架構及后續(xù)維護及日常使用等影響不大,運維模式、機房承重與傳統(tǒng)風冷場景基本一致,可解決數據中心服務器設備80%的散熱問題,而對于機柜內的硬盤、電源等其他發(fā)熱部件依然需要傳統(tǒng)風冷方式散熱。
浸沒式液冷可以獲得更優(yōu)的PUE值,也有企業(yè)推出了商用化改造建設解決方案,并落地了一些改造建設案例,但總體上還處于技術成熟和商業(yè)化完善階段。例如,浸沒式液冷改造對于服務器有一定的要求,服務器箱體需要定制、冷卻液價格相對較高且有一定的揮發(fā)性,維護需要專用維護輔助設備(機械吊臂或吊車),大多數浸沒式液冷服務器機柜對于機房承重提出更高的要求。
市場商用情況。從市場占有情況分析,目前冷板式液冷數據中心產品市場上占比較高,互聯(lián)網巨頭以及數據中心設備企業(yè)多推出了商用化冷板式液冷服務器,但商用化的浸沒式液冷服務器很少,阿里巴巴等領先企業(yè)多采用企業(yè)定制化的浸沒式液冷服務器。浸沒式液冷是數據中心的躍遷式技術創(chuàng)新,相較于冷板式液冷制冷效率更高,具有高能效、高密度、高可用和高可靠性等特性,隨著浸沒式液冷技術的逐漸成熟和生態(tài)完善,未來浸沒式液冷數據中心基礎設施將可能會成為主流。
投資回收情況。液冷數據中心初期建設投資高于傳統(tǒng)風冷數據中心,根據企業(yè)提供的數據,按照機架功率測算,每千瓦造價要高出約20%~40%。初步測算液冷帶來的電費節(jié)省收益,大約2.5~4年液冷數據中心總體投資與風冷數據中心基本持平。具體投資測算受機架功率密度等配置和現場環(huán)境等影響存在差異,液冷機柜功率密度越高,單位造價越低。
表1 數據中心主流散熱技術比較

綜上所述,理論上,冷板式液冷技術是現網數據中心液冷化改造適用技術,雖然也有企業(yè)推出了浸沒式單相液冷商用化改造解決方案和落地應用案例。但在具體改造實施上,由于改造必然涉及設備維保服務、量身化定制等技術實現細節(jié),因此還需要結合現場環(huán)境及定制化、規(guī)?;韧度?/span>產出因素綜合權衡決策。數據中心設備企業(yè)大都建議采用連同服務器和機柜全新替換方式改造建設傳統(tǒng)風冷機柜。
數據中心液冷化改造對象
從數據中心類型分析,應用于人工智能、高性能計算(HPC)等高算力需求場景的算力中心或超算中心適合優(yōu)先采用液冷化技術改造或液冷機柜升級迭代。這是因為算力中心或超算中心主要發(fā)熱源是承擔了大數據量計算或復雜計算的算力型服務器的主芯片(CPU、GPU)和內存,且對于CPU、GPU和內存的性能要求高,功耗和發(fā)熱量也相對較高,適合部署液冷基礎設施實現高效散熱以發(fā)揮滿載性能,同時也有助于進一步提升單機架功率密度實現更高計算性能的輸出。
而存儲類服務器,通常配置較多硬盤,且對于算力及性能要求一般,配置的CPU一般不需要采用性能和功耗較高的型號,液冷投資收益不高,因此從投資效益的角度,存儲型服務器和網絡設備建議仍采用傳統(tǒng)風冷方式部署。
數據中心液冷化改造建設
以下基于冷板式液冷技術,對數據中心液冷化改造建設做一個初步概述:
數據中心機柜的液冷化改造建設。主要工作量在于對原有機柜及服務器的冷板式改造,改造內容是配電、布放管路、冷卻液體流量分配單元CDU等,并同步配套調試漏液監(jiān)測、堵塞等監(jiān)控系統(tǒng)。
數據中心機房的液冷化改造建設。數據中心機房液冷化改造的主要工作在于鋪設室內外液冷管道、安裝冷卻液體流量分配單元(CDU)、新建或改造冷卻塔等。
數據中心機房的液冷化改造建設。根據初步市場調研情況,超聚變、浪潮、網宿科技等數據中心設備企業(yè)都已經推出了商用化改造解決方案,并落地了一些現網數據中心改造建設具體案例。液冷化建設已經為越來越多的數據中心企業(yè)所接受,進一步推動液冷化技術成熟和商業(yè)生態(tài)完善。