快訊
UiBotStore:構筑RPA生態運行重要一環
19分鐘前
定調2020,蘇寧張近東為何用到這個詞?
19分鐘前
雷克薩斯新4.0TV8發動機將先用于賽車
19分鐘前
Model3加速性能升級包已開放付費選裝
19分鐘前
鴻海集團表示員工倒賣iPhone部件事件為假將對爆料者保留法律追訴權
24分鐘前
《守望先鋒聯賽》2020賽季地圖池正式公布
26分鐘前
國際服裝品牌加碼中國,MACKAGE北京開店布局高端服飾市場
27分鐘前
創新藥企經歷寒冬,低成本、廣覆蓋成為主流競爭力
27分鐘前
《荒野大鏢客OL》邊境寒冬節日活動即將上線
29分鐘前
鑫創財富圈套大家小心!劉長豐故意喊反單致虧損
30分鐘前
劉論鑫:炒黃金建倉用對了這三點方法,何愁虧大賺小?
30分鐘前
以融合為抓手推進數字經濟
31分鐘前
冉茗玉:12.20多頭短線想嘗甜頭有點難度,晚間關注這兩大數據
31分鐘前

騰訊大數據平臺每日數據計算量超30萬億

費倩文 2019-11-06 21:12:19

DoNews11月6日消息  (記者 費倩文)11月6日,在Techo開發者大會上,騰訊云副總裁、騰訊數據平臺部總經理蔣杰表示,經過10年的積累,騰訊大數據平臺的算力資源池目前已有超過20萬臺的規模,每天實時數據計算量超過30萬億條,騰訊已經成為中國實時數據計算量最大的公司。

上述數據背后是騰訊大數據平臺技術過去10年的不斷演進。據蔣杰介紹,騰訊的數據量在短短5、6年時間增長了幾千倍,目前每天產生的數據量超過幾十萬億條數據在產生。為了應對這種爆炸式增長,騰訊走出了一條技術引進+改造+自研的道路,在過去10年間,騰訊大數據平臺已經經歷了四代演進。

從以Hadoop為核心的離線計算時代到以Spark、Storm、Flink為核心的實時計算時代,再到如今的機器學習和深度學習時代,騰訊從無到有研發了分布式的機器學習引擎Angel,以及一站式AI開發平臺智能鈦TI,用來解決數據訓練和算法的問題。目前,騰訊正在研究以批流融合、ABC融合、以及數據湖和聯邦學習為方向的下一代大數據平臺的研究,該平臺將具備混合部署、跨域數據共享和邊緣計算等能力。

蔣杰表示,從開始的技術引進、局部優化到如今的自主創新,騰訊的大數據技術也在實踐中不斷完善和創新。“十年前,騰訊管理幾百個節點都很困難,調度性能差,規模上不去。后來為了有效解決計算能力和大規模集群問題,騰訊自研調度器,相對原生調度器性能提升150倍,大大提升了集群可擴展性。現在,騰訊大數據平臺每天有1500萬個分析任務,每天數據接入條數達35萬億條數據。”

2個月前,騰訊在ApacheCon 2019上,面向全球開發者正式宣布開源自身核心平臺——實時數據采集平臺TubeMQ,并捐獻給Apache社區。此次在Techo大會現場,再次重磅宣布正式開源資源管理平臺核心TKE和分布式數據庫TBase,隨著在大數據開源領域的開源逐步加速,騰訊正在成為中國大數據領域開源最全面的廠商。

“目前,已經有數百萬的開發者在騰訊云上構建應用,相信后面會有越來越多開發者加入,我們將和所有開發者一起,共建云上的應用生態”,蔣杰表示。(完)

相關文章

{{news.title}}

{{news.author}} {{news.timeFormat}}

正在加載......
精准单双中特公式