國內(nèi)云計算和數(shù)據(jù)中心領(lǐng)域最具規(guī)模和影響力的標志性盛會，第十二屆中國IDC產(chǎn)業(yè)年度大典將于12.21-22日在國家會議中心舉行。在昨天的主會場上，多位領(lǐng)導(dǎo)及嘉賓對目前數(shù)據(jù)中心整體市場進行了分析與點評，在今日的數(shù)據(jù)中心技術(shù)創(chuàng)新分論壇上，多位嘉賓將會對數(shù)據(jù)中心的技術(shù)創(chuàng)新進行分析與解讀，讓我們共同迎接今天的數(shù)據(jù)中心技術(shù)創(chuàng)新分論壇。
中國IDC產(chǎn)業(yè)年度大典作為國內(nèi)云計算和數(shù)據(jù)中心領(lǐng)域規(guī)模最大、最具影響力的標志性盛會，阿里巴巴IDC運營專家郭樹師出席此次會議，并發(fā)表《阿里巴巴數(shù)據(jù)中心節(jié)能實踐》主題演講。
阿里巴巴IDC運營專家郭樹師
以下為演講實錄：
我今天的題目稍微變了一下，原來給我的題目是關(guān)于節(jié)能方面，現(xiàn)在的題目叫《阿里巴巴數(shù)據(jù)中心節(jié)能實踐》，這個PPT是以張北作為案例來展開，剛才郭亮講的很有感觸，當(dāng)他在研究液冷的時候，其實我們也在深入地去做了，而且對于未來的方向，感覺液冷會成為未來的主流方式。在張北，現(xiàn)在我們已經(jīng)進行好幾月的實驗，包括整個包間大規(guī)模的應(yīng)用，隨著國家能源的消耗越來越多，隨著數(shù)據(jù)中心那么多的建設(shè)，對于液冷的需求，對于制冷的欲求，未來這種發(fā)展雅趣是不可持續(xù)的，逼著我們?nèi)シ治鱿乱粋€更好的應(yīng)用。比如說液冷。
液冷有三種方式，一個是浸泡式、冷板式、噴淋式。
說之前還有一些敢想，隨著數(shù)據(jù)中心大量的能源使用，目前在北京找到一個能夠滿足中型電力的數(shù)據(jù)中心不好找，我們數(shù)據(jù)中心耗電量非常大，社會和企業(yè)、團隊的架構(gòu)我就不細說，下面說一些運營的實踐。
第一點，新風(fēng)應(yīng)用。新風(fēng)在這個行業(yè)提過好多年，據(jù)說大家真正應(yīng)用，在天津、北京、張北，好多數(shù)據(jù)中心都在嘗試用新風(fēng)，到底新風(fēng)行不行？在張北進入一年多，我們用了三個包間進行了實驗，新風(fēng)在特定的清潔度、濕度、溫度的情況下部分地區(qū)是可用的，這個新風(fēng)能夠極大地降低我們的PUE，它的風(fēng)險控制點主要來自于硫化氫和二氧化硫，因為它會和我們的銀、銅產(chǎn)生硫酸銅和硫酸銀。我們這里要控制住這些，新風(fēng)是可以使用的，我們目前在積累大量的數(shù)據(jù)，運行一年多，看到效果不錯。
假如不是張北，而是放在天津、青島、上海未必就可用。
新風(fēng)有三種模式，有全新風(fēng)、半新風(fēng)。有新風(fēng)、回風(fēng)、混合風(fēng)，這是一個氣流模型，這是對實驗室的照片，以及檢測，我們更擔(dān)心的是服務(wù)器的壽命、故障率，通過控制腐蝕程度，我們看看新風(fēng)到底能不能廣泛地普及，在哪些地方可以普及，通過實驗，通過小規(guī)模的試用，我們其實在張北進行了有益的實驗和探索，這是新風(fēng)問題。
第二點熱通道密封。傳統(tǒng)的機房很多還在冷通道封閉，冷通道封閉需要架空地板，而熱通道封閉可以有更高的換熱效率而且省去了架空地板，它是彌漫式的冷通道的送風(fēng)，我對熱通道進行熱量集中回收，我把溫度盡量提高，然后進行一個高溫的回風(fēng)的高效率的環(huán)境，這是熱通道封閉，今天通過這個PPT，也是希望我們在座的，或者來自未來數(shù)據(jù)中心的從業(yè)工作者一起來探索更多的節(jié)能，或者說降低電力消耗的方式，或者是技術(shù)。
第三點，冷熱水的供回水溫度。我們目前看到很多機房，設(shè)計的很傳統(tǒng)的供水，還有很多在7度供水，12度回水，還有繼續(xù)往上提，到底要提到什么程度，目前我們張北出水溫度17度，回水是25度，也就是有6度的溫差，出水溫度從7度升高到17度，乃至19度，回水也相應(yīng)的提高，這個提高還是挺明顯的。
第四點，變頻技術(shù)。這個變頻已經(jīng)很成熟了，但是并不是所有的數(shù)據(jù)中心都廣泛地使用了變頻技術(shù)，各種電基、冷基在固定頻率的時候是固定的消耗，根據(jù)需量，按需所供，按照所需變頻，這在我們一次泵、二次泵、冷基、冷塔進行了廣泛的應(yīng)用，希望這個變頻技術(shù)能夠有更多的數(shù)據(jù)中心借鑒，它的技術(shù)要點就是低頻自適應(yīng)變頻技術(shù)，還有電基低頻值優(yōu)化。我們現(xiàn)在普遍的應(yīng)用到28到32HZ左右，頻率和轉(zhuǎn)速成正比，功耗是程三次方的關(guān)系，變頻的節(jié)能效果還是很明顯的。
第五點，冷卻塔水流路徑延伸技術(shù)。有很多做冷塔的，冷塔造出來以后，在不同的地區(qū)，比如在南方、北方是有不同的需求，而且普通的冷塔到了張北以后還要進行改造，張北要進行防凍，另外原來的牌偏小偏淺，到張北以后我們重新進行優(yōu)化改進，就是把水流路徑延伸，增大散熱面積和散熱時間。冷塔的設(shè)計并不是一個標準，還是要根據(jù)所處的地區(qū)進行優(yōu)化，不光是路徑延伸，包括你的兩個電基或者三個電基的獨立控制，是兩個電基同時在，還是只運行一個風(fēng)扇，這個冷塔還有很多未來發(fā)展的提升空間。
第六點，液冷技術(shù)。剛才郭博士講的跟我們用很相近，這已經(jīng)真正地在，而且效果還很好，為什么要這么做？把我們傳統(tǒng)的機柜三千瓦、四千瓦、五千瓦，到六千瓦的時候，發(fā)現(xiàn)這些不夠用了，我需要二十千瓦、三十千瓦、五十千瓦的時候，普通的制冷模式是滿足不了消除熱導(dǎo)的局部過熱。液冷有浸泡式的，還有噴淋式的，我呼吁我們的合作伙伴或者友商，繼續(xù)加大這方面的投入，這是未來的趨勢，大工業(yè)的機會是未來的趨勢。
第七點，這是空調(diào)最優(yōu)控制邏輯的選擇。首先溫差，當(dāng)冷熱通道封閉和分離的目的是什么？還是加大溫差，而溫差叫什么？末端空調(diào)的送風(fēng)速度，當(dāng)溫差調(diào)高以后，我們的空調(diào)末端的轉(zhuǎn)速可以降低下來，普通空調(diào)有四種模式，哪種是最優(yōu)的，比如說出風(fēng)控制、回風(fēng)控制、壓差控制、溫差控制。這四種模式當(dāng)你選擇的時候，它的節(jié)能效果是不一樣的，目前一個很好的實踐就是加大冷熱通道的溫差。出風(fēng)的溫度可以設(shè)定，比如說可以通過機器來進行設(shè)定，還有通過溫差的設(shè)定。
第八點，服務(wù)器的進風(fēng)溫度。還是回到傳統(tǒng)機房，能不能繼續(xù)往上提，24正負2可不可以，25正負2可不可以，目前這些企業(yè)有沒有進行嘗試。我們現(xiàn)在已經(jīng)做到了25正負2，就是把整個機房的溫度進行普遍的調(diào)解，而服務(wù)器廠家可能也有這個，它的耐受溫度合理是34-35度，是可以滿足的，當(dāng)25正負2或者26正負2的時候，通過數(shù)據(jù)的積累，我們有進一步提升的空間。
當(dāng)然提高了進風(fēng)的溫度，相應(yīng)的CPU轉(zhuǎn)速的速度也會提升，這時候要找到他們之間的缺陷，不能一味的提升，比如到了正負25要停一下，你要測一下三條曲線的交界點，找到最優(yōu)的集合。
第九點，冷卻塔無滲漏保養(yǎng)。怎么除冰，怎么減少受漂水，也需要冷塔和電力系統(tǒng)進行配合，現(xiàn)在的方式還是靠人工，或者是一個半自動的方式，通過電力系統(tǒng)的調(diào)解，或者是通過一個送風(fēng)口的開口，或者加漏斗，像張北的冷塔進行了大量的改造，這種小技巧還是有一些借鑒意義。
第十點，冷卻水凈化再利用。大家考慮電力的同時，還要想一想，其實數(shù)據(jù)中心跑水量也是比較大的，我們有一個詞叫WUE，它的值做得不好的達到4.0以上，做得好的達到0.4左右，這個差別挺大，冷卻水的導(dǎo)電率到多少PH值進行排放，這需要維護的人進行大量的數(shù)據(jù)探索，比如說1500、1600、1700.既要保證水的可用又要減少排放。一個是導(dǎo)電率，一個是PH值，這是我們目前的關(guān)鍵指標。
第十一點，室內(nèi)外濕度為跟隨控制技術(shù)，我知道目前有些機房還是40%-70%的濕度，這個值還有優(yōu)化的空間，比如30-75可不可以，30-80可不可以，20-80可不可以，從配電室到IT機房它的的濕度要求不一樣，通過加濕器能不能用自然方式來解決，目前這個值已經(jīng)進行了大范圍的優(yōu)化，這個濕度有很多的加濕器，這也是一個不小的耗能。目前的濕度值可以從40%-70%，將提高到25%-80%，配電室可以做到18%-90%，通過這個數(shù)據(jù)的優(yōu)化，可以在加濕方面對數(shù)據(jù)中心這個行業(yè)，乃至普通的機房進行推薦，或者是參考。我們有兩個指標，溫度和濕度，把這兩個優(yōu)化好，對PUE的降低還是很有效果的。
第十二點，BA全自動控制系統(tǒng)。目前國內(nèi)用BA的還是挺多，BA有幾種方式，它有全自動、手動、半自動，目前我們新建的機房，大部分做到全自動、自動加機、自動減機、自動進行多種模式的切換。這里面涉及到比如說冷機的控制模式和新風(fēng)的控制模式，比如說3+3，就是冷機有三種模式，新風(fēng)有三種模式，張北是六種模式進行切換，張北的PUE，上次在CDC大會上有一個值，它獲得了CDC的科技能效杰出獎，平時運行PUE值都在1.1幾，這是實際運行的，而不是實驗數(shù)據(jù)。還是希望更多的廠商參與進來，目前廠商還是偏少，而且希望它更人性化，更自動化一些。
第十三點，新風(fēng)焓差節(jié)能空調(diào)技術(shù)，這個技術(shù)南方用得比較多。
下面說一下電氣方面的實踐。
第一，互聯(lián)網(wǎng)行業(yè)一路市電+一路高壓直流，已經(jīng)不是新技術(shù)的，原來擔(dān)心的高壓直流現(xiàn)在也沒那么擔(dān)心了，但是相對于傳統(tǒng)的2N的UPE，1路市電，1路高壓直流，它的效果很明顯。但是現(xiàn)在還有很多數(shù)據(jù)中心還在用2N的UPS，即便我們阿里采用了1路市電加1路高壓直流，它這里面還有兩種技術(shù)，就說1路是負載均分技術(shù)，就是一人一半，各50%，還有一半是負載不對稱技術(shù)，我市電這側(cè)能不能承擔(dān)90%，乃至95%，讓高壓直流這側(cè)承擔(dān)更少的，就是這樣才能夠減少高壓直流的轉(zhuǎn)換效率的損耗。高壓直流目前在互聯(lián)網(wǎng)應(yīng)用中心應(yīng)用比較多，價格也比較便宜，比如說目前常用的這幾個有東達（音）、東塔（音）、新星（音），我們希望這些廠商有更多的節(jié)能技術(shù)出來，不要說高壓直流就一定節(jié)能，高壓直流也有用的低效、中效、高效的，我們更加希望它能夠研發(fā)出來根高效的直流模塊來。如果提高1%，對數(shù)據(jù)中心全部的節(jié)能效果量級還是非常大的，1%的電，還是很明顯的。
第二，變壓器，大家現(xiàn)在遇到一個什么瓶頸，向電力局，向電力公司報裝新型容量的時候，它的容量是有限的，你報了2N，整個便電鋸一半為數(shù)據(jù)中心冗余，當(dāng)變壓器不再是2N結(jié)構(gòu)，而是4+1、5+1、6+1，對國家能源的占用、預(yù)留又會降低很多。比如北京供電五月供電質(zhì)量比較穩(wěn)定的地方，這種方式可以去適用，或者更大規(guī)模地去用，當(dāng)然它會帶來運營人員的應(yīng)急能力的考驗。所以說降低架構(gòu)的同時，其實就加大了對運營人員的要求，從2N到N+1，把N控制得好，控制在小于等于5，這個架構(gòu)的改變對整個國家的能源其實降低了很多。
第三，智能照明，我們的照明占到數(shù)據(jù)中心的比例哪怕是0.01%，這個數(shù)量也是很可觀的，尤其對于大的互聯(lián)網(wǎng)公司，0.01%的能源占比，比如說照明，傳統(tǒng)的照明有T5、T8、LED，還有普通的照明，像張北采用的是LED的固態(tài)照明，按需分區(qū)控制，照明不是通過技術(shù)創(chuàng)新，是需要從細節(jié)上把控，從設(shè)計的源頭上就開始設(shè)計。
第四，蓄電池組在線升壓自放電測試技術(shù)。改變原來直接放電降壓的方式，因為那是直接放電，那個時候一旦停電是有風(fēng)險的，相反我們進行逆向思考，采用升壓放電，我這路電壓偏高，另外就進行放電，就把思維倒轉(zhuǎn)過來，這種方式起碼能保證不段電。當(dāng)然對2N的UPS不是這種，但是對于互聯(lián)網(wǎng)這個放電技術(shù)還是值得行業(yè)去研究，我們現(xiàn)在在應(yīng)用，而且普遍的蓄電池的接口，在傳統(tǒng)的機房當(dāng)中沒有這種接口，所以希望新的數(shù)據(jù)中心在建設(shè)的時候就把這個接口預(yù)留出來，很簡單，就在配電箱增加一個接口就可以了，可以大大增大運營人員的放電效率。這個蓄電池技術(shù)已經(jīng)十年了，是一個成熟的技術(shù)，但是現(xiàn)在會用的不太多，敢用的更少。大家可以去嘗試一下。這個對能源有什么好處？它不用把能源直接消耗到空氣當(dāng)中，它是把現(xiàn)有的蓄電池的電能還是回到IT的負載當(dāng)中，它對外沒有熱量的散出，其實這也是一種間接的能源的回收利用。
第五，一路高壓直流有它的有點和它的不足之處，我們張北不同的模組進行了不同的嘗試，假如說我既保留2N的結(jié)構(gòu)又要保持它的轉(zhuǎn)換效率怎么做？我們原來有三種架構(gòu)，UPS做好，高壓直流做過，能不能做到4N，四種線均分也就四種線交互冗余技術(shù)。它通過負載均分，項目備用，既滿足了2N架構(gòu)，又提高了高壓直流的這種利用效率，這是另外一種架構(gòu)模式。
第六，模塊休眠與自動喚醒技術(shù)。這個模式可能每個設(shè)備里有，但是敢用的、真能用的有可能不是太多，有可能是有，通過喚醒和休眠，這塊的節(jié)能有一個百分之三到五的降低，這里面有兩點。一個是負載電流加充電電流。你要設(shè)定一個計算。第二個是A類告警自動喚醒，當(dāng)它在睡眠的時候出現(xiàn)告警的時候就是不要再稅改了，起來工作，因為依靠高壓直流有十五到二十個模塊，可以有十到十五個進行休眠，它會根據(jù)負荷自動調(diào)整。同樣UPS也有這種功能。我們總體叫這種模式ECO模式，它在菜單里像一些主流的，比如說中恒（音）、中達（音）本身就具備這種功能，希望我們的運維人員把這種功能開啟，你要是不放心的話可以進行部分開啟，也可以進行廠家反復(fù)的測試，然后再進行系統(tǒng)應(yīng)用，所以說后續(xù)的高壓直流的使用和研發(fā)，還是要更加貼近用戶的需求，現(xiàn)在是有，但是我覺得還是有很多需要優(yōu)化的地方。它的休眠與喚醒實現(xiàn)起來還不是太我們對這個短名單，我們對這個品牌進行入圍的時候進行限定。
第七，削峰填谷水蓄冷應(yīng)用。蓄電技術(shù)，當(dāng)電價調(diào)低的時候進行充電、蓄水、蓄冰，削山填谷，存能、存水，或者是蓄冰，現(xiàn)在這三種技術(shù)，我們都有嘗試。
第八，EC風(fēng)機。不要小看風(fēng)機，風(fēng)機占數(shù)據(jù)中心的耗電量很多，我們空調(diào)末端有N臺EC風(fēng)機，這還是有一定的節(jié)能效果，其實大家想一想，現(xiàn)在建一個數(shù)據(jù)中心花不了多少錢，而更貴重的是這一年的電費，幾年的電費就超過一個數(shù)據(jù)中心的總的投資，所以在設(shè)備選型、采購設(shè)計的時候，優(yōu)先要考慮節(jié)能，比如說EC風(fēng)機五千塊錢，可能一年就把你成本回收過來，比如說高壓直流，看似你虧了一萬塊錢，比如十年下來，它提高了1%的能效，那么這個節(jié)省的電費又多少，一臺高壓直流三百千瓦，1%就是三千瓦，一小時三千瓦，一年又是多少電。所以我們希望更多更優(yōu)秀的產(chǎn)品能夠應(yīng)用到數(shù)據(jù)中心來。
第九，下面說一下UPS，UPS已經(jīng)非常成熟了，UPS是一個非常成熟的產(chǎn)品，我們在選配的時候，有公平的，有高頻的，有六脈通，有十二脈通，有的模塊具備休眠模式，也叫VMSS，這是一種模式，還有一種模式叫靜態(tài)高效節(jié)能模式，這個功能我們叫ESS模式。設(shè)備采購、設(shè)計的時候如果有了這種功能，其實對后續(xù)的維護，降低PUE、降低總的成本都是需要高度的。這里要說到，不光要進行模型的選擇，還要進行功能選擇。
第十，無功自動補償，它的要點就是自動補償和進行濾波，提高使用率。
第十一，柴發(fā)水套電伴熱節(jié)能。當(dāng)數(shù)據(jù)中心對PUE要求極致的時候，大家發(fā)現(xiàn)我們在高壓配電和柴發(fā)里有幾個常年發(fā)熱的器械，比如說柴發(fā)，一個柴發(fā)有兩個電伴熱，一小時就耗那么多電，而且不止一百臺，一個數(shù)據(jù)中心，像張北一般就是一百多臺，就近一百五十臺的發(fā)電機。
最后說一下管理角度。
第一，目前阿里普遍新建的數(shù)據(jù)中心采用租電分離，PUE獎懲激勵。比如我們希望PUE做到1.3以下，大家省下的錢一人一半，當(dāng)1.3到1.4之間，我不獎也不罰，比如超過了1.4，多余的部分你來掏，我不掏。按照負載率和裝機率分段考核，人性化的考核，可能春夏秋冬進行不同的考核。
第二，能效指標評價。單純的PUE不足以衡量，我們還有一個加權(quán)平均PUE，也就是WAPUE，就是我們要多重的考核指標。
第三，WUE也有限定，我們爭取控制在WUE小于0.9，能做到0.2-0.9更好。
第四，工藝精細化。這涉及到整個通道的封閉、保溫、隔熱、防爆、除塵、電磁屏蔽、環(huán)氧地坪、地面硬化等。要善待運維人員，提高他們的積極性和責(zé)任心。
第五，能效管理與考核系統(tǒng)。這是張北的一個控制DCOS、IDCM、DCIM、BMS、GOC，這塊才是最未來大的方向，現(xiàn)在有叫DCM的，我希望來自于更多的智能化的管理，而不是靠數(shù)據(jù)分析靠人工，而是希望有一個更上層、更智能的軟件來進行分析。目前業(yè)界已經(jīng)有很多廠家在做，但是離我們的需求還是有一定的差距，當(dāng)數(shù)據(jù)中心大力發(fā)展的時候，我們希望更多的優(yōu)秀廠商出來，比如說現(xiàn)在國內(nèi)已經(jīng)在做的有DCM、中聯(lián)創(chuàng)新（音）等等，總之一句話，未來需要更加智能的平臺，或者是機器人，或者是更先進的人工智能來管理我們現(xiàn)在的龐大的數(shù)據(jù)中心，對能源、對國家未來的能源的消耗有一個充分利用和最大化的利用。