雙11的“痛”只有云知道

謝靖 億歐 2016-10-25 10:30:34

雙11背后的科技支撐:飛天系統(tǒng)、OceanBase數(shù)據(jù)庫、混合云架構(gòu)??萍嫉牧α恳炎屛覀冋驹跉v史最澎湃的浪花中,感受著前無古人的變化,這種前所未有的體驗,還將在科技不斷變革的過程中繼續(xù)進化。

hangye-yunjisuan.jpg

被譽為春節(jié)、國慶之后又一大節(jié)慶日 “雙11”即將臨近,面對這個年度終極大考,各路電商平臺及商家積極備戰(zhàn),線上線下忙得不亦樂乎,籌備期從8月份開始一直到目前預(yù)熱階段,各種組織計劃,痛并快樂著,只為雙11那天零點時刻的狂歡。在這一片歌舞升平中,另一個為雙11保駕護航的神器——云服務(wù)器,也在默默等待著新挑戰(zhàn),期待著續(xù)寫新傳奇。

2015年雙11,全天交易額912.17億元,支付峰值達每秒鐘8.59萬筆,相比于2014年雙11當天交易額571.12億元,支付峰值每秒鐘4.75萬筆數(shù)據(jù),去年有了接近翻倍的亮眼表現(xiàn)。面對如此大規(guī)模流量涌入,平臺保持流暢的客戶體驗,各項系統(tǒng)正常運行,交易過程快速精準有很大必要。雖然用戶感受并不明顯,但對比早期鐵路搶票軟件延遲甚至崩潰,雙11服務(wù)器的處理能力確實值得稱贊,不過人們也難免會事后諸葛,對阿里穩(wěn)坐釣魚臺只有贊揚卻不知背后巨額的科技投入。作為全世界最大云計算系統(tǒng)之一,阿里云支撐著雙11一次又一次刷新紀錄,面對巨大的流量處理和隱形的黑客攻擊,阿里云這根定海神針再次成為了阿里帝國的堅強后盾。

被逼無奈,飛天系統(tǒng)橫空出世

簡單來說,如果把阿里云看成一臺計算機,飛天系統(tǒng)就是它的操作系統(tǒng),其任務(wù)就是把數(shù)萬臺服務(wù)器通過專線聯(lián)系,組成一個超大計算機集群。在飛天系統(tǒng)還未誕生之前,阿里巴巴多數(shù)據(jù)處理任務(wù)是建立在開源軟件Hadoop系統(tǒng)之上,這個集群大概有3000-4000臺服務(wù)器構(gòu)成。隨著阿里業(yè)務(wù)飛速擴展,原有系統(tǒng)計算能力已經(jīng)接近極限,一旦到達計算頂點,企業(yè)將不得不面臨主動降低業(yè)務(wù)規(guī)模的尷尬處境,所以說飛天系統(tǒng)是被逼出來的,一點也不夸張。Hadoop不僅在計算能力上無法滿足阿里需求,同時其本地賬戶管理的屬性決定它在日后不能提供云資源出租服務(wù),因此從當前與長遠角度依靠自生力量來建設(shè)自己的系統(tǒng)已經(jīng)迫在眉睫,在這樣的情境下,飛天系統(tǒng)橫空出世,在2013年同時上線兩個5K集群(5K即5000臺服務(wù)器集合)。

飛天系統(tǒng)是用來做什么

飛天系統(tǒng)最主要功能是以大規(guī)模計算能力為基礎(chǔ),進行大數(shù)據(jù)調(diào)度、最優(yōu)解求算和信息的跟蹤關(guān)聯(lián)。用飛天系統(tǒng)首席架構(gòu)師唐洪的話說,就是從最基本的數(shù)據(jù)處理著手:數(shù)數(shù)和排序。通過對億萬賣家和買家的信息進行計算,可以分析商品賣出數(shù)量,賣出時間,進而得到商品庫存和銷售情況;通過數(shù)據(jù)分析,用最快速度搜索自己想要的產(chǎn)品;通過數(shù)據(jù)關(guān)聯(lián),判斷用戶性別喜好,然后根據(jù)場景做出精準商品推薦;通過數(shù)據(jù)整合,判斷一個人是否有信用污點,在金融產(chǎn)品中決定給申請者的貸款額度,控制壞賬率,這都是飛天系統(tǒng)的具體應(yīng)用。這一系列的計算是由全球各地的數(shù)據(jù)中心,幾十萬臺服務(wù)器來支撐。

飛天系統(tǒng)的特性:可靠性、可用性

飛天系統(tǒng)作為一個24小時不間斷運行的服務(wù)平臺,可靠性和可用性是最基礎(chǔ)的條件。從可靠性來講,要滿足網(wǎng)站高頻、適時的業(yè)務(wù)交易需求,當數(shù)據(jù)中心發(fā)生意外情況時,需要有多個數(shù)據(jù)中心能協(xié)同工作,并保證數(shù)據(jù)安全不受影響。從可用性來講,一般跨區(qū)域超1000公里以上的網(wǎng)絡(luò)延遲在30毫秒內(nèi)時,用戶基本沒有感受,但用戶打開一個阿里界面時背后有近100次后端交互,如果全部異地遠距離完成意味著頁面的響應(yīng)速度會很慢,其延遲會帶來很差的客戶體驗,甚至?xí)霈F(xiàn)界面無法刷出的情況,所以高可用性也是一項基本需求。

阿里云的使用體驗中,這兩項基本服務(wù)可以滿足客戶的體驗要求,如果放在一個大的用戶環(huán)境下,數(shù)以億計訪問量及交易量的使用場景中還能保持系統(tǒng)的體驗感,說明系統(tǒng)的設(shè)計有著極高的技術(shù)水平。而作為支撐這兩項能力的基礎(chǔ),分布式關(guān)系數(shù)據(jù)庫和混合云架構(gòu)則是核心中的核心。

OceanBase數(shù)據(jù)庫:王牌中的王牌

在商用數(shù)據(jù)庫市場,IOE是人們無法回避的話題:IBM是服務(wù)器提供商;Oracle是數(shù)據(jù)庫軟件提供商;EMC則是存儲設(shè)備提供商,三者構(gòu)成了從軟件到硬件的企業(yè)數(shù)據(jù)庫系統(tǒng),幾乎壟斷了全世界大部分商用數(shù)據(jù)庫系統(tǒng)市場份額。無論是銀行還是大型國企,其IT系統(tǒng)都是基于IOE系統(tǒng)。但是隨著企業(yè)數(shù)據(jù)量增加,原有IT系統(tǒng)需要不斷擴展性能來支撐業(yè)務(wù)發(fā)展,這是一筆很大費用開支,另外國內(nèi)對數(shù)據(jù)安全重視程度在不斷加深,自主研發(fā)基礎(chǔ)設(shè)施成為許多大企業(yè)的目標,阿里開發(fā)OceanBase也是基于自身戰(zhàn)略考量。

OceanBase是阿里巴巴首個應(yīng)用在金融業(yè)務(wù)的分布式關(guān)系數(shù)據(jù)庫,于2010年誕生,2014年支撐了阿里10%的雙11交易流量并應(yīng)用于網(wǎng)商銀行底層數(shù)據(jù)庫,成為第一家擺脫商業(yè)數(shù)據(jù)庫的金融機構(gòu),與傳統(tǒng)數(shù)據(jù)庫相比,其擴展性更強,能更好應(yīng)對雙11這類大流量沖擊。同時維護成本優(yōu)勢明顯,既能節(jié)省數(shù)據(jù)庫軟件許可費還不需要昂貴的共享存儲設(shè)備和高性能服務(wù)器。阿里巴巴通過它能更好地控制基礎(chǔ)設(shè)施供應(yīng)能力,保證業(yè)務(wù)發(fā)展不受羈絆。

混合云架構(gòu),釋放存儲的洪荒之力

2015年雙11,淘寶天貓的核心交易鏈與支付寶核心支付鏈條從原有數(shù)據(jù)庫上切換到了阿里云公共平臺,專有云完成到公共云切換,證明了混合云模式的成熟。這意味著阿里自身富裕的存儲空間可以被用來向市場提供存儲服務(wù),依照不同企業(yè)特性及需求來定制云服務(wù)。存儲能力的釋放讓阿里云成為阿里業(yè)務(wù)增長新引擎。

飛天系統(tǒng)、OceanBase數(shù)據(jù)庫、混合云架構(gòu)都是支撐雙11流量計算的重要支柱,滿足其業(yè)務(wù)量不斷上漲需求,為阿里進一步擴張做出了貢獻。但早期這些技術(shù)開發(fā)并不在計劃之內(nèi),而是在企業(yè)面對問題,解決問題的過程中衍生出來,最終得以修成正果。

阿里巴巴技術(shù)委員會主席王堅從最早YunOS系統(tǒng)的應(yīng)用坎坷,到阿里云核心系統(tǒng)自主研發(fā)時的不被理解和飽受爭議,再到最后一飛沖天,中間坎坷曲折、峰回路轉(zhuǎn)非參與者難以與之感同身受。當我們在談?wù)撾p11的林林總總,享受網(wǎng)上購物的快捷便利時,科技的力量已讓我們站在歷史最澎湃的浪花中,感受著前無古人的變化,這種前所未有的體驗,還將在科技不斷變革的過程中繼續(xù)進化。


長按二維碼關(guān)注我們