在亞馬遜的ReInvent大會(huì)上,來(lái)自Pinterest、Flipboard和Yelp的工程師分享了他們各自公司降低云計(jì)算成本的策略:緊盯負(fù)載,精算成本,巧妙組合云資源。
亞馬遜這樣的云計(jì)算服務(wù)對(duì)于小規(guī)模的創(chuàng)業(yè)公司來(lái)說(shuō)是個(gè)福音,但是隨著公司的成長(zhǎng),云計(jì)算的開(kāi)支增長(zhǎng)往往會(huì)超過(guò)營(yíng)收的增長(zhǎng),對(duì)于那些提供免費(fèi)服務(wù)的創(chuàng)業(yè)公司來(lái)說(shuō)更是如此。在亞馬遜的Re:Invent大會(huì)上,來(lái)自Pinterest、Flipboard和Yelp的工程師分享了他們控制成本的獨(dú)家竅門(mén)。
精算成本,精益運(yùn)營(yíng)
在管理云計(jì)算基礎(chǔ)設(shè)施方面,F(xiàn)lipboard的工程師Scallan提出另一個(gè)看似矛盾的觀點(diǎn):擁抱云計(jì)算,同時(shí)敬畏云計(jì)算。如果方法得當(dāng),云計(jì)算是靈活的和低成本的選擇,但是如果缺乏規(guī)劃,讓服務(wù)器空轉(zhuǎn),成本就會(huì)失控。這也是為什么Flipboard工程師的綽號(hào)是"超級(jí)吝嗇鬼",他們的任務(wù)是為應(yīng)用分配合適的資源并加以充分利用。
在"吝嗇"的驅(qū)使下,經(jīng)過(guò)無(wú)數(shù)嘗試,如今Flipboard日常的運(yùn)行實(shí)例數(shù)從高峰期的1500個(gè)降低到了今天的900個(gè)。
FlipBoard的亞馬遜云資源配置
Flipboard實(shí)現(xiàn)云計(jì)算精益運(yùn)營(yíng)的關(guān)鍵是對(duì)業(yè)務(wù)輸入和輸出的準(zhǔn)確判斷和預(yù)測(cè)。Kleiner Perkins的Bradford建議公司精算出支持一位免費(fèi)用戶(hù)的單位成本,以及這個(gè)成本隨著用戶(hù)規(guī)模的變化,以及與付費(fèi)用戶(hù)體驗(yàn)的關(guān)系。選出最重要的評(píng)估指標(biāo)(例如每用戶(hù)每月的基礎(chǔ)設(shè)施成本),并評(píng)估目前的基礎(chǔ)架構(gòu)在升級(jí)前能夠支撐這個(gè)成本多久。
成本的游戲:實(shí)例組合
為了節(jié)省成本,Pinterest、Yelp和Flipboard都采用了亞馬遜AWS的預(yù)付費(fèi)專(zhuān)用實(shí)例。通過(guò)租用亞馬遜的高性能專(zhuān)用實(shí)例(Reserved Instance)而不是按需實(shí)例(On-demand Instance),F(xiàn)lipboard過(guò)去三年節(jié)省了80%的云計(jì)算費(fèi)用,Pinterest則聲稱(chēng)節(jié)省了70%。實(shí)際上,專(zhuān)用實(shí)例與按需實(shí)例的盈虧平衡點(diǎn)只需要8、9個(gè)月,如果企業(yè)需要長(zhǎng)期租用云計(jì)算資源,那么專(zhuān)用實(shí)例顯然是更劃算的選擇。
Yelp是亞馬遜Elastic MapReduce(EMR)大數(shù)據(jù)引擎的重度用戶(hù),當(dāng)開(kāi)發(fā)人員同時(shí)運(yùn)行Hadoop任務(wù),或者夜間分析日志文件的時(shí)候,最高峰會(huì)同時(shí)啟用超過(guò)350個(gè)EMR實(shí)例。為了降低成本,Yelp盡可能租用高性能專(zhuān)用實(shí)例減少計(jì)時(shí)費(fèi)用,此外Yelp還部署了一個(gè)任務(wù)緩沖池,讓排隊(duì)的Hadoop任務(wù)能夠盡量平穩(wěn)、高效率地使用云計(jì)算資源。這就避免了為單獨(dú)的一個(gè)61分鐘的任務(wù)支付兩個(gè)小時(shí)的資源費(fèi)用。
為了判斷何時(shí)使用何種實(shí)例,Yelp開(kāi)發(fā)了一個(gè)名為EMRio的工具,通過(guò)分析過(guò)往的使用情況,來(lái)為任務(wù)選擇最高效的資源。
EMRio的實(shí)例成本分析結(jié)果(橫軸:時(shí)長(zhǎng);縱軸:成本)
在AWS云計(jì)算成本優(yōu)化方面,Pinterest頗有心得,該公司甚至?xí)褂盟^的“機(jī)動(dòng)實(shí)例”(Spot Instance),此類(lèi)實(shí)例也是按需提供,但是當(dāng)其價(jià)格浮動(dòng)超出用戶(hù)最初的出價(jià)時(shí),會(huì)在不通知用戶(hù)的情況下隨時(shí)終止。Pinterest開(kāi)發(fā)了自動(dòng)擴(kuò)展的看門(mén)狗(Watchdog)服務(wù),能夠在需要更多資源的時(shí)候自動(dòng)判斷是租用按需實(shí)例還是機(jī)動(dòng)實(shí)例。
雖然機(jī)動(dòng)實(shí)例的價(jià)格有時(shí)候會(huì)被炒高,但通常情況下比較穩(wěn)定,能為企業(yè)節(jié)省大量成本。通過(guò)租用機(jī)動(dòng)實(shí)例,Pinterest的80臺(tái)前端服務(wù)器的成本只有20美元/小時(shí),每天的計(jì)算成本從最高峰的1200美元降低到了440美元。是的,你沒(méi)看錯(cuò),Pinterest每天的前端服務(wù)器成本只要440美元。
Pinterest的Park認(rèn)為組合使用按需實(shí)例、專(zhuān)用實(shí)例和機(jī)動(dòng)實(shí)例比看上去要復(fù)雜,你必須了解不同實(shí)例之間的運(yùn)作機(jī)制。例如有些地區(qū)和規(guī)模專(zhuān)用實(shí)例會(huì)缺乏靈活性,而配置機(jī)動(dòng)實(shí)例的應(yīng)用也必須能夠適應(yīng)機(jī)動(dòng)實(shí)例隨來(lái)隨走的特性。不過(guò)隨著亞馬遜推動(dòng)機(jī)動(dòng)實(shí)例交易市場(chǎng)(Spot marketplace),用戶(hù)之間可以交易機(jī)動(dòng)實(shí)例,這讓云計(jì)算的成本游戲變得更加復(fù)雜起來(lái)。
技術(shù)選型與人力資源成本
雖然選擇數(shù)據(jù)庫(kù)類(lèi)型主要是技術(shù)架構(gòu)問(wèn)題,但也直接關(guān)系到企業(yè)云計(jì)算的成本。Instagram創(chuàng)始人Mike Krieger曾說(shuō):"你的用戶(hù)才不關(guān)心你的數(shù)據(jù)庫(kù)技術(shù)是不是自己開(kāi)發(fā)的,這方面適用就好,那怕是租用的也行。 Pinterest的Park也同意這個(gè)觀點(diǎn),他的團(tuán)隊(duì)就曾經(jīng)嘗試了太多新潮數(shù)據(jù)庫(kù)技術(shù),從MongoDB、Cassandra、Redis等各種時(shí)髦技術(shù)試了個(gè)便,最后發(fā)現(xiàn)這些新技術(shù)的學(xué)習(xí)成本和管理成本成了很大的負(fù)擔(dān)。最后Pinterest用回了"過(guò)時(shí)"的MySQL、Memcached和Redis,因?yàn)檫@些成熟技術(shù)擁有強(qiáng)大的社區(qū)支持。此外,新加入的工程師中,掌握這些技術(shù)的人也更多,這都會(huì)降低云計(jì)算的人力資源成本。
Via GigaOM
新聞熱點(diǎn)
新聞爆料
圖片精選
點(diǎn)擊排行