曾出版《澳门在线威尼斯网址Lucene应用开发揭秘》,本次受访嘉宾是UnitedStack创始人程辉

澳门在线威尼斯网址 8

原标题:120分钟!我和深信服云计算CTO都聊了啥?

作者简介:刘超,网易云计算解决方案首席架构师。10年云计算领域研发及架构经验,Open
DC/OS贡献者。长期专注于kubernetes,
OpenStack、Hadoop、Docker、Lucene、Mesos等开源软件的企业级应用及产品化。曾出版《Lucene应用开发揭秘》。

编者按

“中国云计算市场非常有前景,公有云是未来的大趋势;与此同时,2006到2015年私有云在中国蓬勃发展,全球最大的私有云市场就在中国。”谈到中国云市场,华云数据CTO郑军如是说。

蓉城成都,国家历史文化名城,古蜀文明发祥地,这几年俨然成为IT行业重镇。9月8日,2018深信服创新论坛在成都顺利举办,云技术社区北极熊受邀参加了本次论坛,并对深信服云计算CTO曹心驰做了长达120分钟的访谈,曹心驰深度分享了对当前云计算行业的看法,揭秘了深信服企业级云产品的一些研发思路和打法。

以下为正文:

“总编访谈”是InfoQ推出的一个高端访谈栏目,由总编辑崔康主持,致力于深入采访国外内顶尖技术力量,报道最前沿、最有深度的内容,分享干货和经验。

【51CTO.com原创稿件】OpenStack作为当下事实上的开源云标准,已成功被多个行业领域的用户大规模部署。很多人都知道,OpenStack诞生的初衷就是为了优化云环境,包括公有云、私有云、混合云的所有玩家都希望能同OpenStack建立某种形式的关联,这也让OpenStack开源社区获得大量追随者,建立了完整的企业生态。

中国云计算市场独具特色

先来分享先早上参加创新论坛的一些精华分析,再分享下午和深信服云计算CTO曹心驰长达120分钟的访谈精华文字版的记录。

云计算概述

云计算主要解决了四个方面的内容:计算,网络,存储,应用。

计算就是CPU和内存,例如“1+1”这个最简单的算法就是把“1”放在内存里面,然后CPU做加法,返回的结果“2”又保存在内存里面。网络就是你插根网线能上网。存储就是你下个电影有地方放。本次讨论就是围绕这四个部分来讲的。其中,计算、网络、存储三个是IaaS层面,应用是PaaS层面。

本次受访嘉宾是UnitedStack创始人程辉,就云计算市场的现状、发展趋势,以及UnitedStack在业务方面的战略调整给出了自己的解读。

在中国,电信、金融、政府、能源、交通、制造、医疗、教育等各大行业的领军公司都已经拥抱OpenStack开源云平台。这说明,从前存在的部署难度高、未能满足行业用户定制化需求等问题已被逐步解决,而这归功于一大批开源创新公司的不断努力,EasyStack便是其中之一。

澳门在线威尼斯网址 1

深信服企业级云–大道至简

云计算发展脉络

云计算整个发展过程,用一句话来形容,就是“分久必合,合久必分”。

InfoQ:为什么UOS1.0是做发行版,而从2.0开始做公有云和托管云了?

 

私有云市场方面,中国市场独具特色,大中型国有企业对IT建设有非常强烈的主导欲望
,而且经费方面也是自己主导,这一点跟其他国家完全不同。为什么说十年当中能够预见中国私有云的蓬勃崛起呢?因为有80%企业还没有上云。

深信服企业级云用四个字总结就是大道至简,一切从用户需求出发,将复杂留给自己,将极简、稳定、高性能、低TCO、安全送给用户。

第一阶段:合,即物理设备

程辉:公司2013年成立,在当年10月份的时候发布UOS1.0,当时的想法很简单,很多厂商都推出高度产品化、定制化或者优化过的OpenStack发行版,然后通过外围的一些服务挣钱。我们也想解决OpenStack的一些痛点,比如自动化部署、运维等,并针对国内用户的使用习惯进行了改进,最终发布了UOS1.0。产品本身是比较酷的,把U盘做成了一个产品,交付给任何一家IT公司或者个人用户,在服务器上插上U盘,过一会就搭建出一个云环境。

那么EasyStack都做了些什么呢?

 

中国私有云市场正在发生着巨变,对于云服务提供商而言,也面临着重大的机遇。

澳门在线威尼斯网址 2

物理设备简介

在互联网发展初期,大家都爱用物理设备:

服务器用物理机,像戴尔、惠普、IBM、联想等物理服务器,随着硬件设备的进步,物理服务器越来越强大了,64核128G内存都算是普通配置;

网络用的是硬件交换机和路由器,例如思科的,华为的,从1GE到10GE,现在有40GE和100GE,带宽越来越牛;

存储方面有的用普通的磁盘,也有更快的SSD盘。容量从M,到G,连笔记本电脑都能配置到T,更何况磁盘阵列;

但我一直在反思。用户拿到了UOS1.0之后,整个安装过程非常快捷,但是用户拿UOS
1.0来提供7×24小时持续的云服务还是很遥远。我们只是解决了从无到有的问题,而这只是万里长征第一步,接下来还需要提供对外服务,保证产品不宕机可扩展,而当时我们并没有解决这个问题。

从降低部署难度入手

在EasyStack 看来,数字化转型大潮下的任何企业,无论大小,都是科技型企业。

所以,中小企业在数字化转型过程中,不单是IT管理平台,更需要能够满足创新业务的支撑和满足混合场景的支持,也需要能够支撑软件定义的多样化。为了帮助中小企业用户解决上云问题,EasyStack推出了ESCloud
Express易捷云。这个产品有如下三大特点:

第一个特点是全云化的软件设计。既有一体机的统一管理,也有超融合的计算存储的整合,当然还有云需要的存储虚拟化、网络虚拟化。云管理平台甚至是包括IaaS和PaaS的功能,同时也面向运维开发者、管理员、业务人员提供极简化的界面,实现分钟级部署一个私有云,秒级获取一个虚拟机。

第二个特点是采用可塑合的运行架构。可塑合性就是可重塑、可自由组合,满足多种业务场景。

第三个特点是一键式部署业务应用。不单是面向资源的IaaS平台,也有面向业务和应用的SaaS甚至是PaaS平台。

澳门在线威尼斯网址 3

EasyStack产品线

当然,中国还存在很多超大型的企业,他们拥有海量的数据,也拥有大规模的服务器和大量的数据中心,对数据安全也有一定的考量。对于这些处在金字塔尖上的企业,行业云更符合他们的需求。

行业云具备云的弹性,面对专门领域行业的公有云,它可以凝聚行业的生态。同时,行业云也可以为行业内部那些对安全更敏感、数据更敏感的客户提供托管服务。

EasyStack为行业云提供了ESCaaS解决方案。ESCaaS是基于OpenStack的开源架构,在私有云的基础上增加了诸多行业云功能,比如灵活计费策略支撑行业云复杂计费场景、多级权限管理方便管理复杂的组织关系、裸机资源管理实现虚实资源混合使用,实现统一的监管控平台。

2017年,云计算正式进入下半场,大数据和人工智能将成为新时代云计算格局巨变的诱因之一。EasyStack为此推出了全球首个同时支持GPU和FPGA异构计算的人工智能开源云平台ESCould
AI,以满足行业企业用户日益增长的大数据和人工智能业务的需求。

作为开源云计算平台,ESCould
AI在底层支持GPU和FPGA两种最常用的异构计算架构,从而在芯片核心底层即可释放人工智能潜力。上层则整合Caffe、TensorFlow等多种流行的深度学习开源框架,从而可以快速建模卷积神经网络(CNN)和递归神经网络(RNN),广泛覆盖图像识别、语音语义识别、时间序列预测等多种人工智能应用。该平台同时还提供针对大数据应用的Hadoop、Spark等开源框架,以满足行业企业对于分布式数据计算、分析、预测等需求。

EasyStack由中国最早从事OpenStack研发的团队所创建。早在2014年,EasyStack推出了中国第一款面向企业级客户的OpenStack发行版ESCloud。

ESCloud专为建设企业级私有云平台而生,具有高度开放性,屏蔽底层不同资源带来的管理复杂度,兼容各种品牌的商业存储设备及分布式存储系统。

2017年6月,EasyStack发布了开源PaaS平台ESCloud+,ESCloud+面向应用开发与应用部署场景,帮助已经部署了ESCloud云平台的企业用户快速扩展PaaS层能力。它通过基础架构层和平台服务层的融合,打破传统的管理边界,实现资源与服务的统一编排、统一权限以及统一管理,能够支撑传统应用架构或新一代微服务应用架构,加速企业的创新与成长。

以集群管理形态塑造新型分布式系统

IT技术发展多年,分布式技术也在演化,很少有人能预测分布式系统技术的演化方向。但非常巧合的是,当有新需出现求的时候,总会有一项新技术来填补。

在EasyStack看来,Kubernetes实际上就是一个分布式系统,其所代表的集群管理技术方案是一个比较理想的形态。

为什么?其实和AI一样,还是为了解决无论是从运维还是开发等方面,人的效率低下问题。当软件吞食世界时,显然需要大量分布式系统来承载各行各业的大规模应用,需要更高效的开发、运行和运维方案。但遗憾的是,很长时间业内并没有达成共识,直到类似Kubernetes这样的集群管理技术方案的出现。

集群管理将会成为大多数分布式系统未来的主流形态,因为基于完全手工打造的分布式系统会越来越少见,反而基于可靠性、可用性、易于管理和高效运维的集群管理分布式系统将被更多构建。

另外,Kubernetes能够降低分布式系统的复杂度。作为一个优秀的分布式系统,它能够让开发者、运维者,或者其他参与者都能面向业务做更多思考,而不是做更多机器可以做的事情。并且,Kubernetes很应景,能够实现高可用架构、实施弹性和对Container运行时的管理等。

计算机工业过去发展的五十年里,一直践行这四个字——抽象封装,即把复杂度抽象,封装起来让上层更高效地去做它该做的事情。而OpenStack,最擅长的就是抽象封装资源。眼前的问题是怎样让OpenStack和Kubernetes实现优势互补,发挥1+1大于2的价值。

所以,EasyStack设计Kubernetes产品时提出的核心理念是提倡深度融合,而不是整合。因为整合是生硬的、片面的,融合是全面的、无缝的。

OpenStack与Kubernetes融合的实现过程

如下图,是OpenStack+Kubernetes云平台架构:

澳门在线威尼斯网址 4

首先,最底层是OpenStack企业级云平台,用来管理计算资源、网络资源、存储资源等,使资源池化。在OpenStack管理的虚拟机和物理机上,就能创建容器集群。

OpenStack和容器集群在这个环境中,都需要实现统一网络和统一的存储。

实现统一网络的原因在于避免网络损失。OpenStack网络组件是Neutron,Kubernetes里面对应的网络组件也有很多的解决方案,kuryr方案能够有效的减少因为多层overlay网络带来的性能损失,因此成为首选方案。EasyStack选择Neutron作为统一网络管理组件,把企业级网络硬件的能力通过neutron、kuryr无损地传递给容器。

对于存储,很少有存储厂商再为Kubernetes对应一个存储,而企业已有存储又很难提供给容器使用,此时可以把Cinder作为统一的存储管控中心,既能给虚拟化应用,又能给容器应用,这是OpenStack跟Kubernetes平台结合的一个最大的特色。

此外,EasyStack的企业级容器云平台也包括镜像管理、持续集成、持续部署、应用管理、容器集群管理等管理功能,可以让云平台的租户管理、监控告警、日志管理都达到较高要求。

鉴于Kubernetes里应用管理的功能相对较弱,EasyStack封装了一层简单的应用。后续,也会支持以应用市场(App
Marketplace)的方式来交付云应用。

OpenStack跟Kubernetes的融合非常适合电商大促等大峰值波动的应用场景,通过融合架构可以带来异构平台统一管理、资源统一调度、提升安全性,这些都是EasyStack构建的OpenStack+Kubernetes云平台的重要优势。

如何从软件的角度优化OpenStack系统体验

谈到Openstack部署时的难点,可以聊聊如何从软件的角度优化OpenStack系统体验。

OpenStack最基本的就是计算、网络和存储,但实际上从系统工程的角度看,OpenStack还会涉及到更多的东西,这也是绝大多数情况下,部署和运营OpenStack的过程中都需要相关咨询服务的原因。

比如,云计算平台需要有一个稳定的底层系统支持,然而底层系统是人们经常忽略的一环,所以存在着很多可以改善的空间。EasyStack
Container Linux和Cloud
Linux就是为容器和云平台提供的定制操作系统,从安全、性能、可靠等诸多方面进行加固,承载云平台的各项服务,以及承载容器的构建。另外,许多软件平台甚至是核心平台都是由C/C++写成的,EasyStack系统工程团队基于对编译器的深入理解和运用,充分发挥编译器的优化能力,梳理并重新编译操作系统中的软件包,为OpenStack和容器提供从下到上的全方位稳定支撑,实现性能优化和体验的差异化。

【作者简介】

澳门在线威尼斯网址 5

石奎,
EasyStack架构总监,曾任职WindRiver/EMC/华为等知名企业,十余年Linux操作系统定制开发及Kernel开发经验,2012年开始贡献OpenStack社区,曾参与设计并实施国内多个支撑核心生产系统高可靠、高可用OpenStack云平台,具有丰富的超大规模OpenStack云平台的设计与实施经验,2015年开始深入研究NFV领域技术及项目设计实施。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

澳门在线威尼斯网址 6


交付极简,特点是省时,基于场景模板化交付,用户只需要开箱并选择模板就可以。

物理设备的缺点

部署应用直接使用物理机,看起来很爽,有种土豪的感觉,却有大大的缺点:

人工运维。如果你在一台服务器上安装软件,把系统安装坏了,怎么办?只有重装。当你想配置一下交换机的参数,需要串口连上去进行配置;当你想增加一块磁盘,要买一块插进服务器,这些都需要人工来,而且很大可能要求机房。你们公司在北五环,机房在南六环,这酸爽。

浪费资源。其实你只想部署一个小小的网站,却要用128G的内存。混着部署吧,就有隔离性的问题。

隔离性差。你把好多的应用部署在同一台物理机上,他们之间抢内存、抢cpu,一个写满了硬盘,另一个就没法用了,一个弄挂了内核,另一个也跟著挂了,如果部署两个相同的应用,端口还会冲突,动不动就会出错。

所以,公司做了重大的业务转型。把UOS
1.0中的的核心技术包括分布式存储、高性能网络、优化的主机调度等,应用到自己的公有云上,开放给公众使用。当时还没有考虑商业模式的事情,只是觉得我们应当把这些有价值的技术和产品开放出去,让别人受益,公司就自然就有价值了。说做就做,我们拿出了公司剩余的大部分钱在北京租了机房,买了一批设备,从核心技术到计费平台、说明文档、注册系统、自动化运维等,花了近半年的时候做公有云。

华云数据CTO 郑军


上云极简,特点是省事,可以完成一键迁移,一键CDP,一键容灾,融合安全。

第二阶段:分,即虚拟化

InfoQ:公有云发布之后遇到了哪些挑战?

经过了这几年的发展,华云数据作为云服务提供商聚焦在四大领域,包括公有云、私有云、混合云和IDC转云。大数据挖掘,郑军认为应该属于云的一部分。在公有云方面,华云更加强调“高品质”。


运维极简,特点是省人,基于业务实际的智能运营中心,对整体的运行状态一目了然。

虚拟化简介

因为物理设备的以上缺点,就有了第一次“合久必分”的过程,叫做虚拟化。所谓虚拟化,就是把实的变成虚的:

物理机变为虚拟机。cpu是虚拟的,内存是虚拟的,内核是虚拟的,硬盘是虚拟的;

物理交换机变为虚拟交换机。网卡是虚拟的,交换机是虚拟的,带宽也是虚拟的;

物理存储变成虚拟存储。多块硬盘虚拟成一大块;

程辉:主要有三个挑战:

据郑军介绍,今年年初,中国最大的游戏提供商之一测试了包括华云数据在内的五家主流云计算服务商的云主机,结果是华云云主机的性能最佳。这都得益于华云对KVM内核的深入研发,目前没有一家公司像华云这样舍得大手笔投入那么多核心内核工程师去做相关研发。


扩容极简,特点是省钱,基于超融合实现按需采购,性能和容量扩展简化到2步,数据智能平衡,用户无感知。

虚拟化解决的问题

虚拟化很好地解决了在物理设备阶段存在的三个问题:

人工运维。虚拟机的创建和删除都可以远程操作,虚拟机被玩坏了,删了再建一个分钟级别的。虚拟网络的配置也可以远程操作,创建网卡、分配带宽都是调用接口就能搞定的;

资源浪费。虚拟化了以后,资源可以分配地很小很小,比如1个cpu,1G内存,1M带宽,1G硬盘,都可以被虚拟出来;

隔离性差。每个虚拟机都有独立的cpu、
内存、硬盘、网卡,不同虚拟机之间的应用互不干扰;

第一,如何在坚持OpenStack开放标准的同时满足国内客户定制化的需求。UnitedStack云服务完全基于OpenStack开放API构建,但是OpenStack开放API并不能完全满足客户需求,因此这里需要与社区做足够的沟通工作,将这些差异化的需求提交给社区,同时我们还在保证100%兼容的目标的情况下对OpenStack
API进行扩展。这对于团队对于OpenStack开发能力有足够的自信才能做到。

大幅提升虚拟化性能

天下武功,唯快不破,深信服企业级云产品快速迭代,追求的就是极致,基于超融合架构,死死抓住用户痛点,持续舍得在研发上大量投入,致力于打造极简、稳定、高性能的云计算解决方案。

虚拟化时代的生态

在虚拟化阶段,领跑者是Vmware,可以实现基本的计算、网络、存储的虚拟化。如同这个世界有闭源就有开源、有windows就有linux、有Apple就有Android一样,有Vmware,就有Xen和KVM。

在开源虚拟化方面,Xen
的Citrix做的不错,后来Redhat在KVM发力不少;对于网络虚拟化,有Openvswitch,可以通过命令创建网桥、网卡、设置VLAN、设置带宽;对于存储虚拟化,本地盘有LVM,可以将多个硬盘变成一大块盘,然后在里面切出一小块给用户。

第二,平衡OpenStack社区开发与生产运营的差异。社区开发时,我们只需要完成功能开发和测试,但当我们要生产运营一个OpenStack云平台时,这时需要考虑平台运营过程中可能出现的各种事件,比如物理服务器宕机,存储扩容、缩容,磁盘故障,网络抖动和攻击等,需要为每一种异常或者失效准备预案,及自动化运维措施,并及时响应。

郑军同时介绍了华云数据在SDN/NFV和高性能计算方面的产品和解决方案创新。在Neutron架构下,华云数据在业界第一个实现了基于高性能VPP的虚拟路由器产品vRouter,并进行了详细的性能评价与Benchmark对比分析。相对于目前其它同类产品,华云数据的vRouter性能提升了8倍左右,可以轻松应对实时性要求较高的大型复杂云计算环境,为实现更复杂SDN/NFV方案奠定了坚实基础。

澳门在线威尼斯网址 7

虚拟化的缺点

但是虚拟化也有缺点。通过虚拟化软件创建虚拟机,需要人工指定放在哪台机器上、硬盘放在哪个存储设备上,网络的VLAN
ID、带宽的具体配置等,都需要人工指定。所以仅使用虚拟化的运维工程师往往有一个Excel表格,记录有多少台物理机,每台机器部署了哪些虚拟机。受此限制,一般虚拟化的集群数目都不是特别大。

第三,获得客户信任。作为一个新兴公有云平台,获得客户信任是一个漫长的过程,任何一次异常或者故障都会导致客户信心的丢失,客户几乎不能容忍一次故障,这是最大的挑战。平台每天都会有更新和升级,也不能中断客户业务。

OpenStack需要深度探索才能运用自如

在AI发展趋势的今天,深信服也正在预研基于AI技术的无运维超融合企业级云,必将又一次为用户带来巨大的收益。

第三阶段:合,即云计算

InfoQ:UnitedStack为什么提供托管云业务,出于什么考虑?

OpenStack是当前炙手可热的开源技术,受到了诸多云计算企业力挺。郑军也表示非常看好这个技术,它能够给很多“草根”公司翻身的机会。云产品提供商须在Openstack框架之上做深入的创新实践和工程优化,才能为用户提供成熟、可靠、低使用成本的云计算产品技术。因为对于广大企业用户而言,将类似OpenStack这样的开源系统软件用于企业级应用场景是需要复杂的工程化开发过程,特别在企业级私有云方面,客户如果直接应用OpenStack开源版本会碰到很多挑战。总的来看,OpenStack还很长的路要走,它现在太过庞大、复杂了,企业要有清晰的技术战略去策划,否则很难从中实现盈利。华云数据已投入大量研发力量做深层次的技术创新和技术变革,并将其融合到OpenStack中。

澳门在线威尼斯网址 8

云计算解决的问题

为了解决虚拟化阶段遗留的问题,于是有了分久必合的过程。这个过程我们可以形象地称为池化。虚拟化将资源分得很细,但是如此细分的资源靠Excel去管理,成本太高。池化就是将资源打成一个大的池,当需要资源的时候,帮助用户自动地选择,而非用户指定。这个阶段的关键点:调度器Scheduler。

程辉:有句话说“出来混总是要还的”,刚开始创业的时候,我们没想商业模式,从发行版到公有云,都没想好怎么赚钱。我们知道现在很多公有云都是巨头在做,几十亿的资本投进去才可以做好。作为一个小的创业公司做公有云,你确实有机会,但是相比资本的力量,这是上百倍的差距,你在市场上可能有竞争力,但是很难做的比他们更好。

与集成商合作推动行业发展