存儲

美国棒球比分:分布式存儲時代,橫空出世的OceanBase

數據,被譽為新時代的石油。幾乎任何一個企業的IT管理者,都會在演講、采訪或其他形式的交流分享中強調數據的重要性?;袢《床?、行為預測、市場分析、業務轉型升級……數據能夠為企業帶來巨大的商業價值。

但與此同時,數據量的激增,也讓數據存儲及管理成為了更為棘手的問題。傳統存儲系統已經難以滿足大規模IT應用對數據存儲的要求,采用分布式的系統架構,利用多臺存儲服務器同時對數據進行存儲的分布式存儲系統應運而生。憑借更高可靠性、可用性、可擴展性和存取效率的優勢,它逐漸成為大規模數據存儲的主要方式。

在2019中國系統架構師大會即將召開之際,筆者有幸就這一話題采訪到了螞蟻金服高級技術專家趙裕眾(花名陳群)。2010年,陳群于中國科學技術大學獲得計算機博士學位,同年加入螞蟻金服從事分布式事務框架的研發,2013年加入 OceanBase 團隊,目前在 OceanBase 團隊負責存儲相關的開發工作。在SACC2019期間,陳群將進行《OceanBase 存儲系統的架構演進歷程及工程實踐》主題演講。

螞蟻金服高級技術專家趙裕眾(花名陳群)

未來,分布式存儲將替代傳統存儲

經過幾年的發展,分布式數據存儲技術進步迅速,已經在許多業務場景中表現出了巨大的生產使用價值。有觀點認為,分布式的數據存儲方式未來將完全取代傳統存儲。這種說法也許有些激進,但陳群認為,分布式存儲代替傳統存儲會是一個趨勢。他表示,隨著5G、物聯網(IoT)等技術和其應用場景的鋪開,未來數據量會越來越大。這會為分布式存儲帶來機遇,同時也會有新的挑戰。

數據石油的井噴,是帶來更多挑戰的主要原因。對于分布式存儲的未來發展挑戰,陳群表示:“隨著未來數據量的增大,對分布式存儲的高性能低成本會有更高的要求,集群的規??贍芑岜淶酶?,更大規模集群下的線性擴展仍然會是個挑戰。此外隨著業務場景的增多,一些業務對數據一致性及高可用也會有更高的要求?!?/p>

那么企業IT部門在搭建分布式存儲系統時,需要重點關注的設計與建設要點有哪些呢?

首先是數據的安全性,或一致性。設備故障、自然災害、人為失誤包括惡意入侵等因素都可能為系統帶來災害,導致數據丟失。IT部門在建設分布式存儲系統時,需要考慮在一臺機器宕機、一個機房甚至一個城市遇到災難的情況下,如何保證數據不會丟失?

然后是擴展性?;諞滴竦墓婊敕⒄固?,在數據量達到一定程度時,往往需要對系統進行擴展。一般的分布式存儲系統都可以輕松擴展到幾十臺服務器,但在更大規模之下,如果需要擴展到成百上千臺,系統需要能夠具備相應的擴展能力。

此外要保證高可用。業務難以忍受長時間的宕機,恢復時間越長往往意味著損失越大。IT部門應考慮當系統出現故障時,如何在最短的時間內將其恢復,將損失最小化。

最后是性能成本和易用性。出于整體系統建設規劃的考慮,這兩點也十分重要?!捌涫嫡飭降愣級雜ψ懦殺?,一個是機器成本,一個是人力成本?!?陳群說。

金融級分布式關系數據庫——OceanBase

熟悉中國互聯網的人,一定知道阿里巴巴的“去IOE”之旅——即擺脫過去IT系統中對IBM小型機、Oracle數據庫以及EMC存儲的過度依賴;而熟悉“去IOE”的,一定也知道阿里巴巴和螞蟻金服完全自主研發的分布式關系數據庫——OceanBase。

點擊圖片,了解關于OceanBase的更多詳情

2013年7月,淘寶廣告系統使用的Oracle數據庫下線,也是整個淘寶最后一個Oracle數據庫。2014年,OceanBase替換了支付寶交易系統中的Oracle數據庫。2015年: OceanBase成功上線網商銀行,成為全球首個應用在金融核心業務系統的分布式關系數據庫。2016年,OceanBase替換了支付寶最核心的賬務系統中的Oracle數據庫。2017年: 支付寶首次把賬務庫在內的所有核心數據鏈路搬到OceanBase上,并在雙十一種創造了4200萬次/秒數據庫處理峰值的全新紀錄。

作為阿里去IOE戰略中的重要組成部分,OceanBase自然代表著業界的最高水平。據陳群介紹,OceanBase的分布式架構使得它能夠承載阿里巴巴和螞蟻金服的海量數據,2018年雙11當天淘寶2135億元交易的背后就有OceanBase數據庫的支撐。

同時它的高可用強一致也確保了支付寶不會再有光纖被挖斷導致停服務的事情發生。2018年云棲大會上,螞蟻金服副CTO胡喜(花名:阿璽)當場演示了剪斷光纖,在OceanBase數據庫及上層中間件的支撐下,30秒內服務就得到了恢復,同時數據也沒有一行出現丟失。

據陳群介紹,OceanBase的核心優勢包括以下五點:

1、線性擴展:傳統單機數據庫因受單機能力限制,所以擴展性有很大影響。OceanBase基于share nothing架構,并提供了靈活的分區功能,可以通過動態添加機器以獲得水平擴展能力。

2、高可用:傳統企業在解決高可用問題上更依賴高端硬件,但高端硬件也不能解決機房級故障乃至城市級故障下的高可用問題。OceanBase在分布式架構下使用Paxos協議,保障業務在單機故障、機房級故障、城市級故障下都可以持續可用。

3、強一致:OceanBase提供完整的ACID事務語義,并通過Paxos分布式協議確保分布式環境下單機故障時的數據強一致。

4、高性價比:隨著雙十一交易量的超線性增長,數據庫性能最終體現在逐年提高的吞吐量上,OceanBase通過使用廉價的PC機,極大的降低了系統的硬件成本,并通過對單機性能的極致優化,在保證高性能的同時有效的降低了整個系統的運行成本。

5、易用性:OceanBase支持SQL,并提供MySQL和Oracle兩種不同的租戶模式,在語法上和MySQL與Oracle完全兼容,用戶的學習成本與遷移成本幾乎為0。

未來的升級路線

隨著技術的發展和應用創新的加速,IT環境愈發多樣化,數據庫作為承載數據的基石,其功能特性也應順應時代趨勢而不斷進步,固步自封、止步不前是萬萬不可取的。談及OceanBase的升級路線時,陳群表示,團隊計劃從兩個主要方面展開工作。

第一是功能方面,目前OceanBase提供了MySQL和Oracle兩種不同的租戶模式,在語法上和MySQL與Oracle完全兼容,也能夠支持MySQL和Oracle大多數的主流功能。當然數據庫是一個比較復雜的系統,要做到100%完全兼容并不是一件簡單的事情,未來OceanBase會在Oracle兼容性方面做進一步完善。

第二是性能方面,目前OceanBase主要應用于OLTP場景,在高并發事務方面扛住了雙11的壓力,取得了一定的成績;但同時在OLAP場景下,OceanBase的分布式架構會成為我們天然的優勢,后續OceanBase也會在OLAP場景發力,在同一套引擎支持混合OLTP和OLAP的HTAP業務。

OceanBase的使命感

金融行業的獨特性,使其應用場景對數據強一致和高可用要求非常之高,特別是在涉及用戶資產的相關業務上,任何一個數據丟失或業務下線造成的損失可能都是難以承受的。OceanBase所提供的各項能力在支付寶的海量業務場景中久經驗證,在生產系統中的長期磨練下,其架構在實踐中不斷地演進與升級,完全能夠高標準地滿足金融級場景需求。目前,OceanBase已經支持了阿里巴巴/螞蟻金服數百個關鍵業務的運行。

對于阿里巴巴和螞蟻金服而言,OceanBase的價值與意義自然是非凡的。而除此之外,從某種程度上來說,OceanBase對整個中國數據庫行業來說也具有劃時代意義。OceanBase是中國數據庫技術的最高水準的一大代表,它的出現打破了寡頭獨占市場的格局,如今更能夠站在世界舞臺上,比肩一眾科技巨頭。

陳群表示:“我覺得OceanBase承擔著更重要的使命,在大數據時代中,數據是一切上層應用的基石,海量數據下的存儲和查詢對數據庫系統提出了前所未有的挑戰,OceanBase團隊是直面這一挑戰的一群人,我們希望OceanBase可以成為大數據時代的一項基礎設施?!?/p>

最后,作為SACC大會的參與者,陳群也表達了對SACC的高度認可與美好祝愿,同時表示很榮幸能夠在SACC2019期間進行主題分享。他認為,作為國內重要的技術大會,無論是對分布式存儲、云計算、大數據還是人工智能、微服務,SACC始終保持著對前沿技術的敏銳關注與熱切討論?!昂推淥斡胝咭謊?,我也從大會中得到了很多收獲,有了許多成長,在此預祝大會圓滿成功?!背氯核檔?。

關注SACC2019大會的最新消息,請點擊://sacc.it168.com/

我還沒有學會寫個人說明!

Linux系統——架構淺析

上一篇

數據科學領域的核心技能和新興技能分別有哪些?

下一篇

你也可能喜歡

分布式存儲時代,橫空出世的OceanBase

長按儲存圖像,分享給朋友

ITPUB 每周精要將以郵件的形式發放至您的郵箱


微信掃一掃

微信掃一掃
{ganrao} 大乐透最近100期图 600012股票行情 龙王捕鱼II 贵丰配资 广西快3预测方法 海南飞鱼游戏奖金 澳洲幸运8计划软件 河北体彩11选五走势图基本 血流麻将怎么胡的多 辽宁十一选五真正 意甲联赛18-19赛季 长沙麻将官方下载 赛车pk10开奖 宁夏11选5官方开奖 海南博彩合法化 祥富金融