作為一個(gè)畢業(yè)在數(shù)據(jù)庫(kù)方向上的PhD,雖然畢業(yè)之后主要從事大數(shù)據(jù)的研發(fā)工作,我對(duì)數(shù)據(jù)庫(kù)領(lǐng)域也一直保持了很大的關(guān)注。國(guó)產(chǎn)數(shù)據(jù)庫(kù)這幾年的發(fā)展取得了長(zhǎng)足的進(jìn)展。
最近,OceanBase在TPC-C的測(cè)試中,以60880800tmpC的成績(jī)戰(zhàn)勝了榜單上的Oracle,后者的成績(jī)是30249688tpmC。這件事情又讓業(yè)界對(duì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)的關(guān)注提到了一個(gè)很高的高度。
的確,這幾年,國(guó)產(chǎn)數(shù)據(jù)庫(kù)的進(jìn)步也是有目共睹的,尤其是隨著國(guó)內(nèi)移動(dòng)互聯(lián)網(wǎng)的迅猛發(fā)展,給很多國(guó)產(chǎn)新型數(shù)據(jù)庫(kù)的應(yīng)用創(chuàng)造了全球獨(dú)一無(wú)二的場(chǎng)景。這在很大程度上推動(dòng)國(guó)產(chǎn)數(shù)據(jù)庫(kù)和以oracle為代表的傳統(tǒng)數(shù)據(jù)庫(kù)廠商之間的差距在逐漸縮小,甚至某些層面,呈現(xiàn)趕超之勢(shì)。
如果深挖這幾年國(guó)產(chǎn)數(shù)據(jù)庫(kù)的發(fā)展,大概的研發(fā)模式分為兩個(gè)截然不同的路徑。
第一條路徑是以早年的達(dá)夢(mèng),人大金倉(cāng)和南大通用等幾家公司為主。這些數(shù)據(jù)庫(kù)公司的主要特點(diǎn)是由大學(xué)教授創(chuàng)辦,產(chǎn)品無(wú)論是以O(shè)racle為參照的達(dá)夢(mèng)還是以面向數(shù)據(jù)分析為主的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的南大通用,產(chǎn)品在投資規(guī)模上以及開(kāi)發(fā)人員上相對(duì)較少,功能與性能和國(guó)外競(jìng)爭(zhēng)對(duì)手比起來(lái)競(jìng)爭(zhēng)力和優(yōu)勢(shì)不夠突出。
事實(shí)上,數(shù)據(jù)庫(kù)產(chǎn)品的研發(fā)是一個(gè)大投入,長(zhǎng)周期,對(duì)技術(shù)要求很高的領(lǐng)域。但是不管怎么說(shuō),作為國(guó)產(chǎn)數(shù)據(jù)庫(kù)的第一批企業(yè),他們對(duì)中國(guó)數(shù)據(jù)庫(kù)整體技術(shù)的發(fā)展,還是做出了不可磨滅的里程碑式的貢獻(xiàn)。
中國(guó)數(shù)據(jù)庫(kù)產(chǎn)品的研發(fā)的另外一條路徑,是中國(guó)的非數(shù)據(jù)庫(kù)企業(yè),由于自身業(yè)務(wù)的需要,對(duì)外采購(gòu)以O(shè)racle為代表的數(shù)據(jù)庫(kù)產(chǎn)品,從業(yè)務(wù),或者成本等方面考慮,無(wú)法滿足自身需要,從而為了自己業(yè)務(wù)發(fā)展而走向了自研的道路。這里尤其是以中國(guó)的通信企業(yè)和互聯(lián)網(wǎng)企業(yè)為代表。
中國(guó)通信企業(yè)的代表華為公司,最近發(fā)布了自研長(zhǎng)達(dá)9年之久的GaussDB。按照發(fā)布會(huì)的說(shuō)法,這是基于PostgreSQL9.2版本開(kāi)發(fā)的的數(shù)據(jù)庫(kù),有多個(gè)不同的型號(hào),可以支持OLTP,OLAP以及HTAP的場(chǎng)景需求。性能功能以及穩(wěn)定性都達(dá)到了比較好的要求。
互聯(lián)網(wǎng)企業(yè)代表的有阿里和騰訊,電商企業(yè)阿里發(fā)布了自研的數(shù)據(jù)庫(kù),主要有基于MySQL的計(jì)算存儲(chǔ)分離的云端數(shù)據(jù)庫(kù)PolarDB,以及螞蟻金服集團(tuán)自研的OceanBase數(shù)據(jù)庫(kù)。前者是阿里巴巴集團(tuán)和阿里云業(yè)務(wù)的主打,后者成為了這次TPC-C測(cè)試?yán)锩娲驍racle的主角,主要應(yīng)用于螞蟻金服的相關(guān)業(yè)務(wù)。這在此前的文章中也做了詳細(xì)闡述,這里不再展開(kāi)。
另一個(gè)巨頭是騰訊,基于自身在社交、金融、游戲等數(shù)億級(jí),甚至十億級(jí)業(yè)務(wù)用戶場(chǎng)景下打磨的數(shù)據(jù)庫(kù)能力,其產(chǎn)品的性能和特性也真實(shí)代表了國(guó)產(chǎn)數(shù)據(jù)庫(kù)發(fā)展的另一種發(fā)展途徑。
追溯騰訊的業(yè)務(wù)發(fā)展,由于起步階段是從KV與存儲(chǔ)分析的類型開(kāi)始,然后逐步過(guò)渡到關(guān)系型數(shù)據(jù)庫(kù)的使用上來(lái)的。相對(duì)其它互聯(lián)網(wǎng)廠商,騰訊天然沒(méi)有去IOE過(guò)程,因此在投入云的過(guò)程中,云化的程度更加徹底。并且在自研的道路上,也探索出很多成熟的經(jīng)驗(yàn)。這里以他們主要的三款自研數(shù)據(jù)庫(kù)CynosDB、TDSQL、TBase來(lái)詳細(xì)說(shuō)明。
騰訊云數(shù)據(jù)庫(kù)負(fù)責(zé)人曾經(jīng)跟我聊過(guò),這三款數(shù)據(jù)庫(kù)定位各有不同,CynosDB是云原生數(shù)據(jù)庫(kù),設(shè)計(jì)上聚焦軟件優(yōu)化與新硬件結(jié)合為理念,兼容性強(qiáng),適合開(kāi)源用戶上云使用。TDSQL和TBase孵化自騰訊內(nèi)部成熟業(yè)務(wù),并且都經(jīng)過(guò)大規(guī)模高并發(fā)場(chǎng)景錘煉,主要應(yīng)用在分布式超大規(guī)模存儲(chǔ)并發(fā)場(chǎng)景以及私有云項(xiàng)目。具體TDSQL和TBase之間,TDSQL主要定位是OLTP,協(xié)議支持MySQL,TBase的定位是HTAP,支持行列混合存儲(chǔ),協(xié)議支持PG。
雖然中國(guó)數(shù)據(jù)庫(kù)起步較晚,以O(shè)racle、IBM、微軟等為代表的老牌廠商憑借先發(fā)優(yōu)勢(shì)在市場(chǎng)份額占據(jù)了有利位置,但是云技術(shù)的發(fā)展還是讓國(guó)產(chǎn)數(shù)據(jù)庫(kù)搭上了快班車。2018年,以騰訊、阿里、華為為代表的三大廠商不僅增速位列前列,市場(chǎng)份額也在逐年增加。騰訊云去年市場(chǎng)份額增速達(dá)到123%,位列國(guó)內(nèi)所有數(shù)據(jù)庫(kù)廠商之首。
如果增速體現(xiàn)的是市場(chǎng)大盤(pán)的增長(zhǎng),那么在復(fù)雜場(chǎng)景下實(shí)現(xiàn)自主可控考驗(yàn)的就是真實(shí)的技術(shù)實(shí)力。
這里一個(gè)標(biāo)志性的事件是上個(gè)月張家港農(nóng)商銀行基于騰訊云TDSQL打造的新一代核心業(yè)務(wù)系統(tǒng)成功上線,在圈里還是引起了很大的反響。這應(yīng)該是國(guó)產(chǎn)數(shù)據(jù)庫(kù)首次正式進(jìn)入金融的核心業(yè)務(wù)系統(tǒng),實(shí)現(xiàn)自主可控。性能上,高頻賬戶類交易耗時(shí)在300毫秒之內(nèi),查詢類交易耗時(shí)在100毫秒之內(nèi),20秒內(nèi)可以完成1萬(wàn)筆批量代發(fā)代扣業(yè)務(wù)等等,批量業(yè)務(wù)進(jìn)行時(shí),數(shù)據(jù)庫(kù)負(fù)載均保持在10%以下,滿足張家港行未來(lái)五到十年業(yè)務(wù)發(fā)展需求。
除了TDSQL,另外一款自研數(shù)據(jù)庫(kù)TBase也應(yīng)用在廣東省的“粵省事”小程序上面,支撐超過(guò)1900萬(wàn)實(shí)名注冊(cè)用戶,實(shí)現(xiàn)了包括公積金查詢及轉(zhuǎn)存、醫(yī)保報(bào)銷等700多項(xiàng)高頻便民服務(wù)事項(xiàng)辦理,累計(jì)業(yè)務(wù)量超3億筆。
其實(shí),拋開(kāi)以上,騰訊云數(shù)據(jù)庫(kù)的很多理念也可圈可點(diǎn),給業(yè)內(nèi)人士不少啟發(fā),比如剛剛推出不久的DBbrain,它能夠?qū)⒋罅繑?shù)據(jù)庫(kù)問(wèn)題的診斷優(yōu)化工作自動(dòng)化、智能化和可視化,可以大幅減少人工的運(yùn)維量。
和早年的數(shù)據(jù)庫(kù)廠商相比,這些從電信行業(yè),互聯(lián)網(wǎng)行業(yè)里面發(fā)展起來(lái)的數(shù)據(jù)庫(kù),有技術(shù)、有場(chǎng)景、有資源投入,并且都經(jīng)歷了對(duì)自身業(yè)務(wù)支撐的考驗(yàn)。而不管是電信行業(yè)還是互聯(lián)網(wǎng)行業(yè),在對(duì)數(shù)據(jù)的規(guī)模,數(shù)據(jù)庫(kù)產(chǎn)品的功能和性能的要求,以及業(yè)務(wù)的復(fù)雜性方面,都經(jīng)過(guò)了嚴(yán)苛的實(shí)際考驗(yàn)。
這些數(shù)據(jù)庫(kù)能夠支撐起復(fù)雜的業(yè)務(wù)場(chǎng)景,其可用性和可靠性都是非常高的??梢哉f(shuō),經(jīng)過(guò)近10年的業(yè)務(wù)打磨,從大的通信廠商和互聯(lián)網(wǎng)公司里出來(lái)的這些數(shù)據(jù)庫(kù)產(chǎn)品,和國(guó)際同類產(chǎn)品比較起來(lái),已經(jīng)具備了相當(dāng)強(qiáng)的競(jìng)爭(zhēng)能力。十年磨一劍,國(guó)產(chǎn)數(shù)據(jù)庫(kù)的春天終于到來(lái)了。
原文來(lái)自“飛總聊IT”微信公眾