您现在的位置:主页 > 半人马科技网 > 电信通信 > > 正文

从关系型数据库到分布式机器学习,揭秘腾讯大数据十年发展历程

2019年10月18日 22:42 来源:未知 手机版

天使恋人,到期还款日,网站不收录

【IT168 资讯】大数据技术在过去10多年中极大改变了企业对数据的存储、处理和分析方式。如今,大数据技术逐渐成熟,涵盖了计算、存储、数仓、数据集成、可视化、NOSQL、OLAP分析、机器学习等丰富领域。在未来,大数据技术还会往引擎容器化、大数据机器学习、数据湖等方面不断延伸。

近日,腾讯大数据技术沙龙首站——Angel专场在深圳举办,腾讯大数据团队详细披露了腾讯大数据十年发展历程,并全面展示了腾讯第三代全栈机器学习平台Angel在大模型数据训练、深度学习、图计算等方面的技术能力,也深入分享了在微信支付、效果广告、微众银行等场景上的应用案例。

会上,腾讯大数据负责人刘煜宏正式发布了“星火计划”,他表示:“在腾讯大数据十年的发展历程中, 我们不断追求技术创新, 集群数从30台到突破35000台。2016年,我们打破了计算奥运会之称的Sort Benchmark 4项世界纪录,性能全球领先。腾讯大数据的发展从开源中受益,秉承着开放共享的精神, 今天我们也推出技术共享的‘星火计划’,希望能够助力和反哺大数据生态繁荣。”

腾讯大数据发展“三部曲”

作为大数据领域的前沿探索者,腾讯大数据从2009年开始, 经历离线计算、实时计算与机器学习三个阶段,在实践中积累了大量的经验。

据刘煜宏介绍,2009年之前,腾讯主要使用传统的关系型数据库。2009年开始,传统的单机数据库所提供的服务,在系统可扩展性、性价比方面已不再适用腾讯业务爆发式的增长。面对这种变化,腾讯大数据转向分布式,基于开源的Hadoop体系,构建了腾讯第一代大数据平台,并建设离线计算平台,主要发力规模化。腾讯大数据由此进入第一阶段。三年里,腾讯实现了从关系型数据库到自建大数据平台的全面迁移,到2012年,腾讯大数据的单集群规模突破了4400台。

2012年,移动互联网爆发,应对业务数据统计及时性、快速性的需求,腾讯大数据从Hadoop转向Spark和Storm体系,在吸收开源技术的基础上,结合腾讯自身的需求进行重写,探索流式计算、秒级采集系统的建设,构建企业级的实时数据分析体系,腾讯大数据发展进入第二阶段。

2015年至今,腾讯大数据迈入了第三阶段。随着数据挖掘、数据应用的深入,腾讯大数据再次自我迭代,于2016年推出了自研机器学习平台Angel,专攻复杂计算场景,可进行大规模的数据训练,支撑内容推荐、广告推荐等AI应用场景。它由腾讯与北京大学联合研发,兼顾了工业界的高可用性和学术界的创新性。不仅支撑腾讯自身业务需求,在行业上也具有里程碑意义。

从海量业务中来,专注图计算场景

作为面向机器学习的第三代高性能计算平台,腾讯Angel在稀疏数据高维模型的训练上具有独特优势,擅长推荐模型和图网络模型相关领域。当前业界主流的大规模图计算系统主要有Facebook的Big Graph、Power graph、Data bricks的 Spark GraphX等,但这些系统并不都支持图挖掘、图表示学习、图神经网络的三大类型算法。

据腾讯Angel开发负责人肖品介绍,腾讯Angel从腾讯海量业务场景中而来,是超大样本和超高维度的机器学习平台。从性能上来看,Angel优于现有图计算系统,能够支持十亿级节点、千亿级边的传统图挖掘算法,百亿边的图神经网络算法需求。它可运行于多任务集群以及公有云环境,具备高效容错恢复机制,也更容易支持新算法,同时,Angel能够较好支持图挖掘、图表示、图神经网络算法,具备图学习的能力。

本站所有文章均来自搜索引擎和其他站点公开内容,如有侵权或表述不当,请联系并标明身份和情况后立即删除。
本文地址: http://www.alphacentaurimgmt.com/dianxintongxin/73053.html

本文标签:腾讯 数据 计算 学习 机器

下一篇:【科技】佳格大数据科技兴农 AI助力智慧农业发展

上一篇:00后组团横扫2019百度之星获奖名单,飞桨成为中学生深度学习神助攻

热门排行