國產數(shù)據(jù)庫們的春天來了

佚名 2019-10-24 17:01:54

作為一個畢業(yè)在數(shù)據(jù)庫方向上的PhD,雖然畢業(yè)之后主要從事大數(shù)據(jù)的研發(fā)工作,我對數(shù)據(jù)庫領域也一直保持了很大的關注。國產數(shù)據(jù)庫這幾年的發(fā)展取得了長足的進展。

最近,OceanBase在TPC-C的測試中,以60880800tmpC的成績戰(zhàn)勝了榜單上的Oracle,后者的成績是30249688tpmC。這件事情又讓業(yè)界對國產數(shù)據(jù)庫的關注提到了一個很高的高度。

的確,這幾年,國產數(shù)據(jù)庫的進步也是有目共睹的,尤其是隨著國內移動互聯(lián)網(wǎng)的迅猛發(fā)展,給很多國產新型數(shù)據(jù)庫的應用創(chuàng)造了全球獨一無二的場景。這在很大程度上推動國產數(shù)據(jù)庫和以oracle為代表的傳統(tǒng)數(shù)據(jù)庫廠商之間的差距在逐漸縮小,甚至某些層面,呈現(xiàn)趕超之勢。

image.png

如果深挖這幾年國產數(shù)據(jù)庫的發(fā)展,大概的研發(fā)模式分為兩個截然不同的路徑。

第一條路徑是以早年的達夢,人大金倉和南大通用等幾家公司為主。這些數(shù)據(jù)庫公司的主要特點是由大學教授創(chuàng)辦,產品無論是以Oracle為參照的達夢還是以面向數(shù)據(jù)分析為主的數(shù)據(jù)倉庫系統(tǒng)的南大通用,產品在投資規(guī)模上以及開發(fā)人員上相對較少,功能與性能和國外競爭對手比起來競爭力和優(yōu)勢不夠突出。

事實上,數(shù)據(jù)庫產品的研發(fā)是一個大投入,長周期,對技術要求很高的領域。但是不管怎么說,作為國產數(shù)據(jù)庫的第一批企業(yè),他們對中國數(shù)據(jù)庫整體技術的發(fā)展,還是做出了不可磨滅的里程碑式的貢獻。

中國數(shù)據(jù)庫產品的研發(fā)的另外一條路徑,是中國的非數(shù)據(jù)庫企業(yè),由于自身業(yè)務的需要,對外采購以Oracle為代表的數(shù)據(jù)庫產品,從業(yè)務,或者成本等方面考慮,無法滿足自身需要,從而為了自己業(yè)務發(fā)展而走向了自研的道路。這里尤其是以中國的通信企業(yè)和互聯(lián)網(wǎng)企業(yè)為代表。

中國通信企業(yè)的代表華為公司,最近發(fā)布了自研長達9年之久的GaussDB。按照發(fā)布會的說法,這是基于PostgreSQL9.2版本開發(fā)的的數(shù)據(jù)庫,有多個不同的型號,可以支持OLTP,OLAP以及HTAP的場景需求。性能功能以及穩(wěn)定性都達到了比較好的要求。

互聯(lián)網(wǎng)企業(yè)代表的有阿里和騰訊,電商企業(yè)阿里發(fā)布了自研的數(shù)據(jù)庫,主要有基于MySQL的計算存儲分離的云端數(shù)據(jù)庫PolarDB,以及螞蟻金服集團自研的OceanBase數(shù)據(jù)庫。前者是阿里巴巴集團和阿里云業(yè)務的主打,后者成為了這次TPC-C測試里面打敗Oracle的主角,主要應用于螞蟻金服的相關業(yè)務。這在此前的文章中也做了詳細闡述,這里不再展開。

另一個巨頭是騰訊,基于自身在社交、金融、游戲等數(shù)億級,甚至十億級業(yè)務用戶場景下打磨的數(shù)據(jù)庫能力,其產品的性能和特性也真實代表了國產數(shù)據(jù)庫發(fā)展的另一種發(fā)展途徑。

追溯騰訊的業(yè)務發(fā)展,由于起步階段是從KV與存儲分析的類型開始,然后逐步過渡到關系型數(shù)據(jù)庫的使用上來的。相對其它互聯(lián)網(wǎng)廠商,騰訊天然沒有去IOE過程,因此在投入云的過程中,云化的程度更加徹底。并且在自研的道路上,也探索出很多成熟的經驗。這里以他們主要的三款自研數(shù)據(jù)庫CynosDB、TDSQL、TBase來詳細說明。

騰訊云數(shù)據(jù)庫負責人曾經跟我聊過,這三款數(shù)據(jù)庫定位各有不同,CynosDB是云原生數(shù)據(jù)庫,設計上聚焦軟件優(yōu)化與新硬件結合為理念,兼容性強,適合開源用戶上云使用。TDSQL和TBase孵化自騰訊內部成熟業(yè)務,并且都經過大規(guī)模高并發(fā)場景錘煉,主要應用在分布式超大規(guī)模存儲并發(fā)場景以及私有云項目。具體TDSQL和TBase之間,TDSQL主要定位是OLTP,協(xié)議支持MySQL,TBase的定位是HTAP,支持行列混合存儲,協(xié)議支持PG。

雖然中國數(shù)據(jù)庫起步較晚,以Oracle、IBM、微軟等為代表的老牌廠商憑借先發(fā)優(yōu)勢在市場份額占據(jù)了有利位置,但是云技術的發(fā)展還是讓國產數(shù)據(jù)庫搭上了快班車。2018年,以騰訊、阿里、華為為代表的三大廠商不僅增速位列前列,市場份額也在逐年增加。騰訊云去年市場份額增速達到123%,位列國內所有數(shù)據(jù)庫廠商之首。

如果增速體現(xiàn)的是市場大盤的增長,那么在復雜場景下實現(xiàn)自主可控考驗的就是真實的技術實力。

這里一個標志性的事件是上個月張家港農商銀行基于騰訊云TDSQL打造的新一代核心業(yè)務系統(tǒng)成功上線,在圈里還是引起了很大的反響。這應該是國產數(shù)據(jù)庫首次正式進入金融的核心業(yè)務系統(tǒng),實現(xiàn)自主可控。性能上,高頻賬戶類交易耗時在300毫秒之內,查詢類交易耗時在100毫秒之內,20秒內可以完成1萬筆批量代發(fā)代扣業(yè)務等等,批量業(yè)務進行時,數(shù)據(jù)庫負載均保持在10%以下,滿足張家港行未來五到十年業(yè)務發(fā)展需求。

除了TDSQL,另外一款自研數(shù)據(jù)庫TBase也應用在廣東省的“粵省事”小程序上面,支撐超過1900萬實名注冊用戶,實現(xiàn)了包括公積金查詢及轉存、醫(yī)保報銷等700多項高頻便民服務事項辦理,累計業(yè)務量超3億筆。

其實,拋開以上,騰訊云數(shù)據(jù)庫的很多理念也可圈可點,給業(yè)內人士不少啟發(fā),比如剛剛推出不久的DBbrain,它能夠將大量數(shù)據(jù)庫問題的診斷優(yōu)化工作自動化、智能化和可視化,可以大幅減少人工的運維量。

和早年的數(shù)據(jù)庫廠商相比,這些從電信行業(yè),互聯(lián)網(wǎng)行業(yè)里面發(fā)展起來的數(shù)據(jù)庫,有技術、有場景、有資源投入,并且都經歷了對自身業(yè)務支撐的考驗。而不管是電信行業(yè)還是互聯(lián)網(wǎng)行業(yè),在對數(shù)據(jù)的規(guī)模,數(shù)據(jù)庫產品的功能和性能的要求,以及業(yè)務的復雜性方面,都經過了嚴苛的實際考驗。

這些數(shù)據(jù)庫能夠支撐起復雜的業(yè)務場景,其可用性和可靠性都是非常高的??梢哉f,經過近10年的業(yè)務打磨,從大的通信廠商和互聯(lián)網(wǎng)公司里出來的這些數(shù)據(jù)庫產品,和國際同類產品比較起來,已經具備了相當強的競爭能力。十年磨一劍,國產數(shù)據(jù)庫的春天終于到來了。

原文來自“飛總聊IT”微信公眾

長按二維碼關注我們