2017阿里巴巴云栖大会数据库内核专场,内容概要

9月 27th, 2017

引言:

个人的上一篇博客,已经是6个月前的事(还是一个招聘贴),而有技术价值的博客文章,更是要回溯到2016年的5月份,这么长时间不维护博客,还是挺惭愧的。但其实这两年来,真不是在偷懒。总结起来,跟团队小伙伴们一起,就干了三件事:

  1. 我们做了一个新的数据库存储引擎X-Engine。目前在sysbench标准化测试下做到了65万的TPS,相同硬件下是InnoDB存储引擎最优性能(11万左右)的6倍左右。当然,离我们的目标:10倍性能,1/10成本还有一定的差距。
  2. 我们做了一个高性能可全球化部署的MySQL数据库集群(基于自研的X-Paxos分布式一致性算法和我们的AliSQL),异地部署下是MySQL官方Group Replication性能的5倍以上,并且在阿里集团内核心业务线真正落地。
  3. 我们基于X-Paxos、X-Engine等核心技术,做了一个真正一体化的分布式关系型数据库X-DB。集水平扩展能力、持续可用能力、高性能、低成本于一体。

在今年的阿里巴巴云栖大会上,我们也申请了一个阿里巴巴数据库内核专场,时间是2017年10月13日下午,详细信息可见云栖大会官网链接:阿里数据库内核专场 通过这个专场,我们准备跟大家交流探讨下我们团队在这三件事上的思考和技术细节,欢迎感兴趣的小伙伴们莅临指导!

本文的以下部分,简单分享了我们近两年所做工作的背景和动机,以及数据库内核专场的5个主题的内容大纲。

背景和动机:

从上世纪七十年代关系模型的建立至今,数据库领域已经经历了近半个世纪的发展。如今,互联网的兴起,数据的爆发式增长对数据库系统提出了新的挑战,在阿里巴巴,超大规模的在线交易,尤其是”双十一”这样前所未有的压力,迫使我们对数据库系统做出颠覆式的改变, 不仅要大幅的提高在线事务处理能力,同时还需要在扩展性,可靠性,数据一致性,以及成本上做到最优。所幸的是,我们所做的的一切并非无本之木,现代硬件体系架构的飞速发展给予了我们这个机会。利用多核CPU的并行处理能力,异构计算设备(GPU/FPGA)加速数据库,新型的存储设备(SSD,NVM),高性能网络(RDMA),重构数据库架构,把处理能力提升到全新水平。

2017 年 10 月 11 日,云栖大会将聚集国内外数据库领域的顶尖高手,一起深入探讨如何在新时代下寻找创新突破点,推动技术新发展。阿里巴巴集团数据库内核专家也将闪亮登场,为大家带来一场丰盛的技术大餐。

专场内容概要:

如前所述,我们认为数据库系统正处在一个变革的关键点,我们首先会分享数据库内核技术团队对于数据库技术这许多年来的思考, 阐述我们对数据库技术本质的理解,未来前往的方向。然后会分以下几个关键的议题进行深入探讨:

 

存储引擎是数据库系统的心脏,阿里巴巴数据库内核团队打造了全新的存储引擎X-Engine其主打高性能和低成本,采用了不同于传统数据库存储引擎的技术,充分发挥现代硬件体系架构和性能。其目标是百万级的TPS以及1/10的MySQL成本。为达到该目标,X-Engine在每个方向上都要打破常规,做到极致。这次分享将为您讲述X-Engine背后的设计理念,核心技术,以及未来发展方向。

 

在数据库系统支撑大规模线上交易的同时,如何保证数据的高可用性是业界关心的核心话题。2016年双十一AliSQL推出的大杀器使得核心交易集群查询能力从10W QPS提升到100W QPS。同样是基于Paxos的分布式MySQL数据库,AliSQL X-Cluster可以做到官方MySQL Group Replication的6倍以上性能。相比于其他MySQL生态的分布式数据库,为什么只有AliSQL X-Cluster宣称是全球分布式集群。在这背后AliSQL X-Cluster是如何实现多种强一致模型和完整生态系统的?这些答案将在本次专场揭晓。

 

同时,阿里巴巴数据库内核组的新一代分布式关系型数据库X-DB,以高性能、高可用、弹性水平扩展为目标,支持零外部组件依赖下的多点可读可写、分布式数据库下的动态在线DDL和多版本Schema。本次专场将分享在X-Engine和X-Paxos支撑下的X-DB设计架构和技术细节。

 

今年初,浙江大学与阿里巴巴数据库内核团队在前沿数据库技术领域开展了深入的合作,主要集中在异构计算设备(FPGA)加速数据库,利用高性能网络(RDMA)优化分布式一致性协议(Paxos),高性能内存索引技术等方向,都取得了不错的成果。为此我们还邀请到了来自浙江大学的孙建伶教授,他会带来他在新兴数据库领域的最新研究成果,与您一起探讨基于机器学习的自主数据库系统。

结束语:

从石器时代到互联网时代,无论个人还是团体,只有不断谋求创新与进步,才能不断发展壮大。未来,数据库领域我们将踏上怎样的技术新征程?参加云栖大会数据库专场,技术大拿现场为您揭晓!

标签:
目前还没有任何评论.