1. 概述

　　近年來隨著云計算技術的快速發展，全球數據中心開始向著巨型化的方向發展，單機柜功率密度不斷提高，5KW、7KW、10KW甚至幾十KW功率機柜已逐步成為常規配置。新一代數據中心更顯著的表現為：規模更大、密度更高、制冷要求更高、局部過熱成為常態等特點。數據機房的高功率密度化對空調系統的制冷及機房散熱提出了更高的要求，空調系統短時間的供冷中斷都會造成IT設備過熱宕機，傳統風冷空調的制冷方式已無法滿足機房制冷需求。如何保障新一代數據中心空調系統的能夠長期、持續、穩定的為數據中心機房提供所需的環境溫度、濕度成為每個數據中心運維管理人員必須面臨的問題，而空調系統的供電方式對上述保障要求能否達到起著關鍵作用。

　　從國內數據中心的發展來看，由于功率密度的提高，新一代數據中心尤其是大型數據中心基本采用制冷效率更高的水冷空調系統來滿足持續上升的制冷需求。本文中筆者主要結合自身工作經驗主要針對水冷空調系統的供電方案設計及一些常見問題進行分析和探討。

　　2. 新一代數據中心與傳統數據中心的差異

　　傳統數據中心一般功率密度較低，多數單機柜功耗低于2KW，在空調系統故障停止供冷時，只要保持IT設備供電連續，通過增加風機、開窗等手段仍可保持數據中心連續不中斷運行，因此在傳統數據中心的運維管理中空調系統的重要性往往不像供電那樣受到重視。新一代數據中心對運維管理的重點進行了重新定義，空調系統與數據中心供電一樣決定著數據中心能否安全穩定運行。筆者在工作中按照ASHARE標準測試方法，利用假負載對模擬了一個設計功耗5KW/機柜機房失去空調制冷后機房溫度上升情況。試驗選擇一個350平米機房內，機房內安裝機柜158個。測試前啟動假負載和空調，使機房溫度達到數據機房正常運行穩定狀態。關閉機房兩側末端空調模擬空調失去供冷。空調制冷系統停止運行后，靠機房空間的冷量只能維持不到3分鐘。

　　由此可見隨著IT設備功率密度的不斷提升，數據機房允許的空調停止運行時間已成為分鐘級，在此條件下通過運維人員“現場維修”來排除空調系統故障恢復機房制冷已不再可能。空調系統短時間停止運行都會造成機房內熱量的快速堆積，并引發設備高溫宕機，因此保障空調系統安全穩定運行的供電系統的重要性也進一步凸顯。

　　3. 高功率密度數據中心水冷空調系統的供電設計注意事項

　　新一代數據中心典型的空調水冷系統的結構基本都是由下屬三大部分組成：

　　(1) 由冷卻塔+冷卻水泵+冷卻水供水及回水管路組成的空調冷卻水系統;

　　(2) 由冷水機組+冷凍水泵+冷凍水供水、回水管路組成的空調冷凍水系統;

　　(3) 由分水器+末端空調+風機盤管+集水器+冷凍水泵組成的空調制冷量分配系統。

　　同時為保證冷凍水供水和冷卻水供水系統均能可靠、穩定運行，設計中將冷水機組、冷凍水泵、冷卻水泵分水器、集水器、主管路等都設計成1+1冗余備份方式。盡管空調系統的設計中采用了冗余等多重保障措施，但若空調系統供電設計中一些缺陷仍然離不開一個高可靠的供電系統來保證空調系統可以持續穩定的為數據機房提供制冷。

　　3.1水冷空調系統供電方案的常規設計

　　水冷空調系統供電設計中冷凍水泵、冷卻水泵、末端空調等關鍵設備一般采用雙路市電+ATS開關的冗余型供電方案：

　　對于采用低壓油機作為后備電源的數據中心，空調系統一般設計為有油機保障的雙路市電輸入+ATS開關，正常運行時兩路市電首先饋送至ATS開關，并可以選擇其中一路作為主用，另一路作為備用。正常運行時由作為主用的一路向水泵、末端空調等設備供電，當主用路故障是可以自動切換至備用路工作。ATS開關的轉換可以在秒級時間內完成，秒級的中斷完全滿足空調系統停止運行時間要求。

　　對于采用高壓油機作為后備電源的數據中心，由于目前一些地區的電力主管部門往往會對高壓油機的自動投切進行限制，人工投切會延長高壓油機供電恢復時長，因此多數空調系統供電設計中會為末端空調和冷凍水泵配置UPS、EPS等不間斷電源保證在高壓油機投切器件的連續供冷。

　　3.2水冷空調系統供電方案設計中應避免“單點故障”

　　在上述兩種常規設計中均采用ATS作為實現雙路供電自動切換的關鍵器件，可滿足一般但從ATS實際應用效果看ATS仍然存在一定的故障率導致該動作不動作或誤動作等。ATS承載下端所有水泵或末端空調的負荷，存在明顯單點故障，ATS故障將導致下端所有設備斷電。對于高功率密度的數據機房，ATS故障可造成末端空調停止供冷機房溫度快速上升或冷凍水泵停轉末端空調無冷量補充進而造成機房高溫宕機風險。為避免將所有雞蛋放在一個籃子中的風險，為末端空調配電系統增加一個ATS開關，將相互間隔的空調分屬不同配電系統，提高高功率密度數據機房安全性。

　　3.3水冷空調系統供電方案設計中應考慮“連續制冷”

　　由于高功率密度數據機房在空調失去制冷條件下機房溫度累積非常迅速，空調設備短時間停止供冷就可造成IT設備高溫宕機。因此在進行新一代數據中心的規劃設計時應充分考慮到連續制冷的必要性。一種觀點認為，在數據中心設計階段進行負荷評估時往往大于后期實際裝機的負荷，因此認為過度強調連續制冷一方面會造成空調系統配電設備投資的加大，另一方面還可能造成后期設備利用率低等問題。但按照IT技術的發展趨勢，每5年左右功率密度會有一次技術更新，而數據中心一般設計生命周期一般不低于30年，因此在數據中心的規劃設計階段必須考慮到后期擴容和技術更新。

　　數據中心連續制冷的完整解決方案不僅包括空調末端、冷凍水泵的不間斷運行，還應設置蓄冷罐儲備一定的冷凍水用于冷水機組停止工作時可以通過蓄冷罐向空調水系統補充冷水。為空調末端和冷凍水泵均配置UPS保持數據機房的末端空調在市電停電、高壓油機恢復供電前機房內空氣繼續循環流動，轉將冷凍水管路中冷凍水繼續被輸送至空調末端機房提供冷量，儲存在蓄冷罐內的冷凍水補充到管路中為冷凍水管路中繼續補充冷量以滿足連續制冷需求。

　　解決空調系統連續制冷需增加蓄冷罐、UPS、蓄電池組及管路等，這些會增加數據中心建設初期的投資，但會是數據中心后期業務發展的適應性大大增強。一旦建設初期未設計待后期再行優化改造不僅增加帶業務改造的風險而且會造成投資進一步加大。目前部分新建數據中心出現的因前期未考慮連續制冷投產后不滿足制冷需求而不得不進行改造的案例很值得思考，上述情況的出現一方面因設計初期對功率密度的增長缺乏長期考慮，另一方面對高功率密度機房失去制冷情況下的溫升情況缺乏全面認識。

　　3.4水冷空調系統供電方案設計中應考慮啟動沖擊電流

　　對于冷凍水型空調系統，末端空調的主要耗電為風機。風機主要為感性負載，在電流突變時一般認為會產生較大的沖擊電流，尤其從靜止狀態突然啟動，這一點在傳統AC風機上表現更為突出;冷凍水泵則是典型的感性負載突加負載時沖擊電流更大，通常會達到額定負載的6、7倍。基于上述原因，通常認為如果給末端空調和水泵配置不間斷電源(UPS或EPS時)必須要考慮沖擊電流的容量。但從實際應用看，當末端空調或水泵的市電供電中斷時UPS蓄電池會立即通過逆變器承擔負荷，此時風機或電機仍在高速旋轉，其沖擊電流與從靜止狀態突然加載時完全不同的。末端空調風機一般功率較小，因此普通UPS完全可以作為備用電源，對于水泵類負荷，應負荷較大可選用抗沖擊能力更大的EPS更為合適。

　　3.5盡可能設置獨立的加濕器為機房加濕

　　在新一代數據中心冷水型空調系統的末端空調選型時，部分數據中心選擇帶加濕加熱功能的末端空調，但從筆者多年運維經驗建議盡可能將機房制冷和加濕分開處理。眾所周知，空氣濕度會隨著溫度的變化而變化，尤其對于裝機過程中的數據機房由于機房安裝的機柜位置、單機柜發熱量等不同必然會造成不同位置溫度、濕度不同。制冷、加濕、加熱一體的末端空調為了達到設定的溫濕度值難以避免出現加熱與制冷打架、加濕與初始打架現象，大大增加了運行功耗。

　　采用專用加濕機，例如在機房安裝專用的水膜加濕機，不僅能耗大大降低而且可以有效避免上述打架現象，降低機房制冷整體能耗。

　　4. 小結

　　上述為筆者對日常運維管理工作的一些小的總結，若有不當之處歡迎與同道中朋友相互交流提高。數據中心的運維管理是一個復雜的體系，隨著功率密度的不斷提高將面臨越來越多的問題需要面對和解決，新一代數據中心的運維管理必將為各位運維管理人員開啟一片新的天地。