“复制”亚马逊云到你的数据中心?这家创业公司能做到!

(鹏云网络创始人、前AWS亚马逊云核心技术团队专家陈靓)

AWS亚马逊云目前在全球的公有云厂商中排名第一。根据2015年5月的Gartner的IaaS市场魔力象限,亚马逊云的规模比其他14 家竞争对手的总和还要高出10倍。2015年7月公布的亚马逊财报显示,其云计算业务利润为全球产品销售业务利润的一半,导致当月亚马逊市值大涨400亿美元。

然而,实际上亚马逊云一直很想进入私有云市场,也就是把公有云的架构以独立软件的方式提供给企业,企业可以直接安装到自己的数据中心,从而获得类似亚马逊云的技术实力。曾在亚马逊云的美国核心技术团队工作长达7年的技术专家陈靓告诉记者,这个想法一直难以实现,因为亚马逊云与内部生态的耦合太紧,很难拆分成独立的软件。

“但这个市场实在太大了!”金融、电信、军队、政府等很多行业都不能直接使用外部的公有云,它们都迫切需要把亚马逊云的领先技术“复制”到自己的数据中心。于是,带着这个想法,陈靓离开了亚马逊云,回国创办了南京鹏云网络科技有限公司(以下简称:鹏云网络),要做中国自己的AWS亚马逊云。


亚马逊云牛在哪里?

亚马逊云计算之所以牛,就是因为它的超大规模,这给了亚马逊云技术团队巨大的发展空间。截止到2013年,AWS的节点数量已超过百万,以最低错误概率计算,每秒也有成百上千个硬件发生故障,如果没有完善的系统、高效的处理预案、自动化的管理,是无法持续运行如此庞大的系统。

陈靓从北京航空航天大学毕业后在国内工作了两年,然后到美国俄亥俄州立大学计算机攻读博士学位,他于2006年进入AWS亚马逊云技术团队。当时刚起步的亚马逊云技术团队只有不到100人,2013年陈靓离开的时候已经发展到几千人。2008年,陈靓进入了EC2的研发团队,2010年转到了S3的研发团队,基本上经历了亚马逊云的主要产品研发。

陈靓介绍说,亚马逊云没有所谓IaaS、PaaS的概念,而是基于SOA(面向服务的架构)用“网络服务组件”解决不同的刚需——EC2解决的是海量计算需求、S3解决的海量存储需求等。“以S3为例,在弗吉尼亚州就可以看到接近百万结点,你可以观察到每一秒钟几百台机器的上线下线、上千个存储磁盘的上线下线,这是在其它地方都看不到的规模。”

对于全球上百万台服务器的管理,让陈靓大开眼界。作为核心研发人员,陈靓和团队还开发了AWS核心产品 S3的第三代,深刻掌握了超大规模云计算和云存储的核心技术。实际上陈靓在进入亚马逊云不久,亚马逊云就已经在开发第二代产品了。由于用户数量和数据积累的过快,很快就超过了每一代产品的设计上限,亚马逊云于是就不停地开发新一代产品。

为此,陈靓作为主要负责人之一还肩负了AWS Glacier(冷存储)的体系结构设计及开发,把亚马逊云存储的总体成本降低了30%。


攻克企业级云存储技术难关

因为看到了亚马逊云技术在私有云和企业自有数据中心的巨大需求,陈靓在2013年回国创业,选择的方向首先是企业级私有云存储。之所以选择这个方向,是因为云存储是云栈的基础,并且国内的去IOE化又开启了企业级存储市场的巨大市场空间。

然而,陈靓在云存储产品中,选择的是实现起来最难的一种:块设备存储。陈靓介绍说,存储技术一直在可靠性、可用性和速度这三者之间平衡,传统上的块存储、文件存储和对象存储都无法占全这三个要素。对于类似于亚马逊云存储这样的超大规模来说,块存储是比较理想的选择,但能否攻克原有技术的门槛,这是陈靓创业中最大的难关之一。

尽管陈靓已经获得一项美国国家专利和一项中国国家专利,而且还是多个高性能计算国际会议委员和顶级期刊的审稿专家,但传统块存储技术中的先天缺陷让陈靓曾一度陷于创业的困境。为了技术攻关,陈靓精读了100多篇英文国际学术论文,几乎把国际上所有的最新相关研究成果都读了一个遍,但依然一无所获。

“有三个技术难题,几乎是无解的!”直到2015年的七八月份,在南京一个炎热的早上,陈靓在长期的冥思苦想中醒来。当他坐在床上,半梦半醒之间的时候,突然想通了两个技术难题。这时距离他创业已经快两年之久,而30多岁的他在这两年的创业过程中,已经全部头发花白了。


挑战国产块存储最高水平

陈靓及其创业团队开发的ZettaStor DBS鹏云存储系统对于传统块存储技术进行了改进,系统框架由高性能计算技术、分布式技术、虚拟化技术和计算机人工智能技术组成,与同类产品相比可达ZB级海量存储。由于采用了纯分布式架构,不存在中央节点,系统中存储服务器个数可以扩展至100万个,“这是目前国内的最高水平”。

ZettaStor DBS分布式块设备存储基于软件定义,通过分布式计算技术,可把大量标准化的x86服务器和存储资源整合起来,成为既具备传统SAN/NAS的企业级功能和特性,又具有高弹性、高扩展性、高可靠性的企业级云存储系统,创造了Server SAN全新的产品类型。近年来兴起的Server SAN存储技术,是由多个独立x86服务器加存储介质组成的存储资源池,具有良好的性价比和扩展性。

ZettaStor DBS在存储节点上部署轻量级的管理软件,把各个节点上的各类标准化存储介质整合起来形成可统一管理的存储池,为各种应用提供高速的块设备接口,而这些应用可以像访问本地硬盘一样访问存储资源。ZettaStor DBS本身是一个IaaS + PaaS的平台,自带操作系统、采用开放架构,可运行在任何版本Linux下,支持Hadoop、OpenStack、VMWare等多种平台和多种类型虚拟机平台,适用范围很广。

ZettaStor DBS还有一个好外,就是系统智能化和免维护。该系统实现了分布式系统实时健康状况监控、非健康服务器的自动替换和数据自动迁移或恢复:例如由1000台存储服务器组成的系统,每台服务器可以在1~2秒内感知任何其他服务器的健康状态变化,并在5秒钟内完成非健康状态服务器的自动替换(包括数据迁移或恢复)。

此外,陈靓表示,ZettaStor DBS的数据高可靠性(Reliability)可达到99.9999%,高于国内绝大部分存储产品和美国亚马逊云的EBS块存储服务。目前,ZettaStor DBS的开发与测试已经完成,用户可以申请长达180天的无限制免费下载试用。


“创业唯艰”对谁都很公平

在亚马逊这样的大公司工作是一回事,自已创业却是另一回事。“创业唯艰”这句话,对资深技术专家陈靓来说,也不例外。

陈靓在亚马逊云工作了7年都没有“少年白头”,但在自己创业的近三年时间里,几乎是全部头发都银白了。他2013年回国的时候,几乎没有任何资源,在这一年里,陈靓需要自己找办公室、找管理人员、找研发工程师、应付各种行政管理工作,同时还要自己花大量时间从事软件研发。同年,陈靓的第二孩子出生了。创业第一年对陈靓来说,相当的煎熬。那个时候,块存储技术的攻关难度非常大,几乎看不到成功的希望,坐在租来的简易办公室里,陈靓几乎要放弃创业的想法。

幸运的是,在2014年2月,陈靓有一次坐飞机非常偶然地遇到了四年没见的一位亚马逊老同事,是早期亚马逊云技术团队中唯一两位华人中的另一位。他在2010年离开亚马逊云创业,之后拿到了著名投资人徐小平的投资。通过他的推荐,陈靓见到了徐小平。徐小平很认可陈靓的项目,于是陈靓很快便拿到了徐小平的天使投资。

于是陈靓的鹏云网络开始走上正轨,到2015年七八月的时候又攻克了技术上的难关,尽管还有一个难题没有攻克,但已经能做出非常有成就的产品了。2015年陈靓5000多个申请人中脱颖而出,入选为65名第十一批国家“千人计划”人才之一。2016年,又赶上国家“十三五”计划的开年,金融、电力、电信、政府、军队、医疗等行业都涌现出巨大的市场机会。

现在,鹏云网络提供的软件定义存储产品拥有自主知识产权和核心技术专利,公司在南京和西雅图设立研发中心,核心研发人员大多曾就职于亚马逊、华为、谷歌、微软等国内外著名的高科技企业。鹏云网络目前还入选了“中央国家机关政府采购中心采购目录”,2016年鹏云网络还将推出对象存储产品,以更好的满足市场需求。

陈靓是一个非常努力勤奋的人,家境并不宽裕的他靠着“拼”的精神,从北航硕士走到了美国俄亥俄州立大学的全奖博士,从7年美国亚马逊云计算核心团队又回到了中国“千人计划”科技创业,以技术和经验打造了中国自主云的第一个百万节点。所谓“ 鲲鹏展翅九万里”,2016年开始的“十三五”无疑为以陈靓为代表的这一轮“海龟”创业送上了东风。