导语:创头条消息,7月25日,阿里云飞天大数据平台亮相阿里云峰会上海站,该平台拥有中国唯一自主研发的计算引擎,是全球集群规模最大的计算平台,最大可扩展至10万台计算集群,支撑海量数据存储和计算。 在浙江,飞天大数据平台支撑下,“最多跑一次”打通与老...
创头条消息,7月25日,阿里云飞天大数据平台亮相阿里云峰会上海站,该平台拥有中国唯一自主研发的计算引擎,是全球集群规模最大的计算平台,最大可扩展至10万台计算集群,支撑海量数据存储和计算。
在浙江,飞天大数据平台支撑下,“最多跑一次”打通与老百姓办事最密切相关的100个事项70多亿条数据,老百姓甚至有可能一次都不跑。在杭州,城市大脑实时指挥1300个红绿灯路口、200多名交警,从2016年到2018年,杭州从全国最拥堵城市排行榜上下跌52名。
据了解,该平台的研发源自阿里巴巴的自身实践。十年前,新兴互联网业态蓬勃发展,中小企业在阿里巴巴电商平台上爆发式增长,海量数据击垮传统IT架构。
在此背景下,阿里巴巴开始探索全新的技术来支撑爆发式增长的数据存储和计算需求,坚定投入飞天大数据平台研发,将成千上万台服务器组成一台超级计算机,向社会提供水电煤一样的公共服务。
2012年初,阿里巴巴技术委员会主席王坚就表示,“从战略上来说,阿里云想做的事情实际上可以解读为Amazon+Google并有所超越。将单一集群做到数千乃至更高,技术上是国家和企业竞争力的标志。阿里巴巴必须攻克这道难关。”
三年时间,飞天大数据平台单日数据处理量提升了5倍,从2015年100PB、2016年180PB、2017年320PB,到2018年超过600PB。
数据显示,飞天大数据平台打破了多个记录:2013年,突破了单集群内5000台服务器同时计算的局限,如今单集群已超过1万台的规模;2015年,打破计算界奥运会SortBenchmark的4个世界纪录,用不到7分钟便完成了100TB的数据排序,刷新了ApacheSpark 23.4分钟的纪录。