突破、進化,騰訊雲數據庫2018全年盤點

在企業上雲逐漸加速的背景下,雲數據庫作為企業重要的IT基礎設施,其重要性毋庸置疑。各大雲計算廠商不惜重金,紛紛在產品和技術層面加大佈局,爭奪這一重要的雲服務市場。縱觀國內前幾大雲服務商過去一年的雲數據庫領域的發展,騰訊雲基於自身強大的業務支撐以及技術研發實力,在雲數據庫市場的突破格外引人註目。

具體來說,針對存量市場,2018年下半年,騰訊雲重磅推出雲原生數據庫CynosDB,該款數據庫的單節點讀性能達到驚人的130萬QPS,超過業內目前最高100萬QPS水平,而價格隻是市面上商業數據庫的1/15。同時,CynosDB也是業界第一款全面兼容MySQL和PostgreSQL的高性能企業級分佈式雲數據庫,強悍的性能和極致的性價比然該數據庫一經推出便在市場上引起強烈反響。在自主可控數據庫領域,騰訊雲TDSQL金融級分佈式數據庫在對內支撐包括微信紅包等海量業務的同時,對外也正在為中國金融行業提供分佈式數據庫解決方案,落地勢頭迅猛。

增量市場上,針對於物聯網、大數據和互聯網監控等擁有海量時序數據的場景,騰訊雲重兵佈局時序數據庫CTSDB和NoSQL數據庫MongoDB。下半年推出的CTSDB時序數據庫不僅可以降低數據存儲成本,也能簡化日常運維工作。 需要指出的是針對小程序的風口,騰訊雲接下來還將主攻Serverless領域,全面降低小程序開發門檻。

持續不斷的技術和資源投入,也讓騰訊雲數據庫收獲眾多用戶的認可。其中,越來越多的企業選擇將核心業務系統托付給騰訊雲數據庫。應用場景上,騰訊雲數據庫業務基本覆蓋電商、金融、遊戲、O2O等全行業,眾多知名大中型企業比如小紅書、獵豹、每日優鮮、聽雲、搜狐暢遊、微眾銀行、蘑菇街、貓眼等等都選擇騰訊雲數據庫提供的服務,在騰訊雲的支持下,這些企業2018年也都業績長虹。

CynosDB:性能全面領先同類,擁有極致性價比

作為騰訊雲在公司架構調整完成後向外界發佈的首款產品,CynosDB強悍的性能,極致的性價比,使得其無疑成為年度數據庫市場的一顆重磅炸彈,可謂不鳴則已一鳴驚人。據介紹,CynosDB融合瞭傳統數據庫、雲計算和新硬件的優勢,支持無限量存儲、百萬級查詢和秒級的故障恢復。單節點讀性能達到130萬QPS,超過業內目前最高100萬QPS水平,全面領先國內其他同類產品,而價格隻為市面上商業數據庫的1/15。

更為可貴的是,CynosDB在產品架構設計上兼容開源數據庫引擎接口,讓企業幾乎無需更改代碼,就可以實現“無縫上雲”。作為國內首傢兼容MySQL和全球第一個兼容PostgreSQL的雲數據庫產品,CynosDB在技術層面的多項創新,讓其具備真正的公有雲原生數據庫高性價比、高可用性以及彈性擴展等諸多優勢,助力企業大幅降低“上雲”成本。

比如,采用“日志即數據庫”技術方案,可以最大限度的減少網絡數據輸入/輸出(IO)。自研的用戶態分佈式文檔系統,減少瞭操作系統上下文切換以及數據在用戶態和內核態之間拷貝引起的性能損耗,為企業後期業務擴展留下空間。另外,CynosDB 的“可計算智能存儲”進一步滿足企業的實際應用場景,讓企業按實際使用量計費,自動擴縮容。在降低企業開支的同時,輕松應對突發的業務規模變化。

根據公開的報道,騰訊雲技術團隊對數據庫內核進行瞭深度定制,總共進行瞭近60多項優化。為瞭提升系統可用性,CynosDB以軟件優化與新硬件結合為理念,采用瞭先進的計算和存儲分離架構,同時實現瞭計算無節點狀態,支持秒級故障切換和恢復,數據備份時間縮短到60秒之內,速度提升瞭180倍。

TDSQL:落地勢頭迅猛,國內自主可控雲數據庫典范

在互聯網安全已經上升至國傢戰略層面的背景下,如何從底層基礎數據庫層面實現自主可控成為雲計算廠商不斷追求的目標。TDSQL無疑是騰訊雲數據庫自主可控最典型的代表。實際上,基於微信支付/紅包的復雜業務場景,騰訊一直致力於實現數據庫的自主可控,保證數據強一致性、高可用和水平擴展。金融級分佈式數據庫TDSQL在對內支撐微信紅包業務的同時,對外也正在為中國金融行業技術自主可控分佈式數據庫解決方案。

以國內首傢互聯網銀行微眾銀行為例,其背後的 IT 基礎架構拋棄瞭傳統的 IOE,完全采用瞭互聯網分佈式架構,從 2014 年開始,騰訊雲開始為微眾銀行提供核心交易數據庫解決方案。TDSQL 在微眾銀行作為交易核心 DB,部署超過 800 個節點,承載全行所有 OLTP 業務。

微眾銀行副行長兼 CIO 馬智濤也表示:“2017 年微眾銀行將每個賬戶的運營成本降至平均隻有 6 元人民幣,僅為內地傳統銀行的 1/10,相比國際銀行則更低,隻有其成本的 2% 至 5%。”

作為騰訊一款推出時間較長的自主可控數據庫,TDSQL隨著支撐業務規模擴大,以及實際場景的不斷打磨,其核心性能也在突飛猛進。比如TDSQL除瞭提供計算下推,分佈式事務等特性,也針對OLAP需求演進瞭TDSpark特性。

簡單來說,是將SQLEngine基於OLAP場景做瞭修改,保留原生的MySQL協議接入能力。因此業務可以繼續通過訪問MySQL的渠道接入到OLAP-SQLEngine,OLAP-SQLEngine在這個時候不是將分佈式的查詢計劃直接下推到各個數據庫節點,而是引入一個中間層,目前是通過SparkSQL強大的計算能力能顯著提升復雜SQL的執行性能。為瞭確保分析操作與在線的OLTP業務隔離,TDSQL的數據層為每份數據增加1個watch主數據庫的數據異步節點,確保分析操作與在線業務操作不互相影響。

在實際的落地場景上,TDSQL過去一年的戰績頗豐。比如除瞭支撐微眾銀行之外、還支持華通銀行、華夏銀行、濰坊銀行、內蒙金谷農商銀行、北京人壽、愛心人壽等眾多銀行和保險公司的互聯網核心生產系統,並已經為超過500+的政企和金融機構提供數據庫的公有雲及私有雲服務,客戶覆蓋銀行、保險、證券、互聯網金融、計費、第三方支付、物聯網、互聯網+、政務等領域,得到瞭客戶及行業的一致認可。

TencentDB for MySQL:生態建設更加完善

在世界上最流行的開源關系數據庫MySQL領域,除瞭性能的不斷完善之外,騰訊雲更加生態層面的建設,比如,騰訊雲MySQL2018年重大的性能突破之一是實現秒級監控。日常監控支持60秒粒度,覆蓋連接訪問、數據庫負載、查詢緩存、存儲引擎等七十餘項重要指標,可全方位監控數據庫運行狀況。

十五項數據庫核心性能指標支持秒級的實時監控,可幫助用戶及時掌握實例運行狀況,快速定位實例性能問題。自定義資源閾值告警,可幫助用戶知曉 DB 運行中的問題。它將問題及時反饋給運維人員,幫助您快速響應數據庫問題。提供慢查詢分析報告和 SQL 完整運行報告下載,幫助您瞭解影響數據庫性能的因素。

另外,生態化建設中的至關重要的遷移和訂閱的功能也全面上線。比如騰訊雲數據傳輸服務(Data Transmission Service,DTS)支持 MySQL、MariaDB、PostgreSQL、Redis、MongoDB 等多種關系型數據庫及NoSQL數據庫遷移,可幫助用戶在業務不停服的前提下輕松完成數據庫遷移上雲,利用實時同步信道輕松構建高可用的數據庫容災架構,通過數據訂閱來滿足商業數據挖掘、業務異步解耦等場景需求。

這個功能具有很強的實際應用價值,比如很多用戶希望系統遷移時不影響業務提供服務。然而在遷移過程中,不停服就無法保證遷移數據的一致性。針對這樣的問題,借助騰訊雲數據傳輸服務DTS提供的數據遷移功能,就可以全面滿足用戶不停服遷移的需求,用戶隻需要通過簡單的幾步設置,即可完成數據從本地遷移上雲的一系列繁瑣工作。

目前,數據傳輸服務DTS已實現全Web化操作,控制臺點擊操作即可實現自動數據遷移,無需人工值守。

CTSDB和MongoDB:佈局未來,搶占制高點

正如上面提到,隨著5G時代的到來,針對於物聯網、大數據和互聯網監控等擁有海量時序數據的場景,騰訊雲重兵佈局時序數據庫,騰訊雲推出的CTSDB不僅可以降低數據存儲成本也能簡化日常運維工作。

CTSDB(Cloud Time Series Database) 是一種分佈式、高性能的時序數據庫,針對時序數據的高並發寫入、存在明顯的冷熱數據、IoT 用戶場景等做瞭大量優化。作為騰訊唯一的時序數據庫,CTSDB 支撐瞭騰訊內部20多個核心業務 ,包括微信彩票、財付通、雲監控、雲數據庫、雲負載等。其中,雲監控系統記錄瞭騰訊內部各種軟硬件系統的實時狀態,CTSDB 承載瞭它所有的數據存儲,在每秒千萬級數據點的寫入壓力、每天 20TB+數據量的寫入場景下穩定運行,足以證明CTSDB可以穩定支撐物聯網的海量數據場景。

另外,針對小遊戲的風口,以及小遊戲行業需求變化很快的特點,騰訊雲MongoDB特別適用遊戲後端數據庫,無固定 schema 的模式可以免去變更表結構的痛苦,大幅度縮短版本迭代周期,同時,還可以將 MongoDB當作緩存服務器使用,合理規劃熱數據。

目前,騰訊雲數據庫MongoDB已經支撐數款日活峰值20000w且流水上億的微信小遊戲。這些都緣於騰訊雲MongoDB獨特的性能特性,比如,騰訊雲數據庫MongoDB是國內唯一提供表級監控的雲廠商。除此之外,騰訊雲MongoDB也是國內唯一提供提供庫表回檔服務的雲數據庫,為客戶提供更細粒度回檔服務。舉個例子,例如有一天遊戲的某個模塊上線之後,發現有用戶在刷錢,分析發現因為一個Bug引起的,此時如果直接強制性把用戶的錢收回來是非常不合理的,有瞭這個功能後,此時僅需要把這個bug引起的庫表進行回檔就可以。

開源:與MariaDB基金會戰略合作,共建全球開源生態圈

騰訊雲數據庫過去的一年成績斐然,除瞭產品技術領域的不斷突破和進化,在開源領域的佈局也值得一提,據瞭解,12月份,騰訊雲宣佈與MariaDB基金會正式簽署戰略合作協議,2019年,騰訊雲將繼續以白金會員身份為基金會的發展提供強有力的資源支持,與MariaDB全球用戶和開發者一道,共建開放共贏的全球開源生態圈。

騰訊雲自去年成為該基金會白金會員以來,深度參與基金會的各項會議與決策。同時,騰訊雲數據庫內核團隊持續輸出騰訊在MariaDB數據庫上的經驗和技術,推動MariaDB的版本迭代和功能更新。

比如,在InnoDB引擎層面,TXSQL在MariaDB 改進的基礎上做瞭進一步的優化,使系統吞吐量較Oracle MySQL 版本提升瞭20%;在聚合運算層面,TXSQL內核對聚合運算也做瞭特別的優化,極大的提升瞭數據庫的查詢性能,如sum聚合,在數據量為100萬的條件下達到7倍左右的性能提升。

“一年以來,騰訊雲為MariaDB內核功能完善做出瞭突出貢獻,騰訊雲數據庫對TXSQL的現有修改將持續貢獻給MariaDB代碼庫。騰訊雲在數據庫領域的深厚積累,將推動MariaDB構建持續創新的開源生態。和騰訊雲的持續合作,將幫助MariaDB成為開源數據庫領域的典范。”MariaDB基金會CEO Arjen Lentz表示。

此文已由作者授權騰訊雲+社區發佈

搜索關註公眾號「雲加社區」,第一時間獲取技術幹貨,關註後回復1024 送你一份技術課程大禮包!

關鍵詞:數據 數據庫 騰訊 性能 業務 銀行 用戶 提供 聯網 mariadb

相關推薦:

數據庫 TDSQL 的架構演進

騰訊金融雲胡利明:分佈式數據庫是金融業務發展的必然趨勢

一文瞭解騰訊雲數據庫SaaS服務

2019數據架構選型必讀:1月數據庫產品技術解析

自研數據庫CynosDB存儲系統如何實現即時恢復

做優化的數據庫工程師請參考!CynosDB的計算層設計優化揭秘

為什麼騰訊雲要自研雲原生數據庫 CynosDB?

Via

Ref.

推薦閱讀:

Spread the love

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *