了解一下超融合架构的本质是什么?

日期: 2018-10-29
浏览次数: 658


我们不评判对错,也不去探究这些是不是真正的超融合,而是重新追本溯源,思考为什么超融合现在被关注,什么样的IT架构更“合适”于当今的商业。

首先,选择超融合架构的原因,是传统存储解决不了现在企业数据中心的问题。

据研究显示,全球的IT数据每年在以40%的速度增加中。数据正在逐步影响商业,企业通过数据的分析来做决策与管理。

完成快速的分析决策和管理,就需要借助强大的数据中心。下图为传统SAN存储:

了解一下超融合架构的本质是什么?


图一、传统SAN存储

但是,光靠越来越快、核数越来越多的CPU是不够的,瓶颈在于传统存储的硬盘太慢了,CPU大部分计算能力都空闲或者说在等待存储数据传输过来。传统存储容量和性能不具备和“计算能力”匹配的可扩展性,不能满足企业进行数据访问的需求。


了解一下超融合架构的本质是什么?


图二、传统SAN存储遭遇I/O瓶颈

这个问题并不是现在才有。Google很早遇到这个问题。那么Google是如何做的呢?

作为一个给全世界互联网网民提供数据检索的企业,Google考虑过EMC、IBM,还有当年的SUN存储产品,但是都解决不了它的问题。无论是容量还是性能,这些公司的产品都无法满足Google的规模需求。于是Google只能自己建立一个适合自己的数据搜索的存储结构了。

Google优秀的计算机科学家们,打破了传统的存储思维,利用服务器的本地硬盘和软件构建了一个容量和性能不断可扩展的分布式文件系统,并在其上构建了其搜索和分析的计算引擎:不用把数据从存储端取出来,然后通过网络传输到计算端,而是将计算直接分发到存储上运行,将“计算”作为传输单元进行传输,这样大量的存储数据都是本地访问,不需要再跨网络上传输了,自然访问很快。于是乎,自然而然地,“计算”和“存储”运行(“融合”)在了一个服务器上,这里我们也看到超融合架构的一个优势就是,本地访问数据,不必跨网络。


了解一下超融合架构的本质是什么?


图三、超融合架构示意图

现代企业的数据量越来越大,应用越来越多,他们开始面临当年Google遇到的问题,CIO要考虑怎么更高效的构建自己的计算和存储的基础架构,来满足应用的数据访问需求。

虚拟化为更容易的管理应用而生,它解决了CPU、内存资源闲置的问题。但随着虚拟化的大规模应用,虚拟机越来越多,虚拟机在传统存储上运行却越来越慢了。“慢”造成“体验差”,“体验差”成为了限制虚拟化应用的最大的瓶颈。这里面的最重要原因自然是,存储的I/O性能不够,大量的虚拟机和容器同时运行,I/O的混合,使得随机读写急剧增加,传统存储的结构无法承受大量的随机I/O.超融合恰恰是为了解决这个问题,才被带到了虚拟化和容器领域。同时,业内也存在不同的解决I/O问题的方法,我们先尝试分析下其他的解决方法:解决方法一:在存储设备采用SSD做Cache,加速I/O.这在一定的规模下可能有效,但是存储设备的SSD Cache通常比例较小,不足5%的容量比的情况下,自然满足不了用户的热数据的缓存需求。另外,仍然无法随需扩展,所有的数据仍然要从集中的存储控制器流出,这个集中的“收费站”势必堵塞“高速公路”。

解决方法二: 使用服务器侧SSD做Cache,加速I/O.这种类似的解决方案,通常缺乏高可靠性软件的支撑,服务器端的Cache如果用做写Cache,存在单点失效的问题,需要在多个服务器的Cache设备上,做副本来提供可靠性,可以说这是一个阉割版的超融合架构,将Cache放到服务器端,仍然使用传统存储,当Cache满,需要被写回传统存储的时候,仍然被传统存储的“控制器”限制整体性能。

我们看到,上面的两种方案都是受限于传统存储的结构,超融合存储则不一样,通过完全去掉传统存储,利用分布式文件系统来提供“不可限量”的性能和容量,在这个基础上,再通过Cache进行加速,甚至全部使用闪存(全闪存产品)来构建都是自然而然,不被限制了。

因此,超融合架构不是为了让单台服务器的存储飞快,而是为了让每增加一台服务器,存储的性能就有线性的提升,这样的存储结构才不限制企业业务的运行,并保证业务的可靠性。



了解一下超融合架构的本质是什么?


图四、超融合将存储池化,性能线性提升

正因为这种扩展性很好的共享存储,使得整个Google的业务得以顺畅地运转。SMARTX在做的就是这样的更好的、更稳定的基础服务。

另外,超融合近几年得以快速发展的原因,这要归功于硬件设备。CPU核数越来越多,服务器的内存容量越来越大,SSD设备和网络互联网设备越来越快,这意味着:a. 服务器的资源除了运行业务以外,仍然可以预留出来足够的CPU,内存资源来运行存储软件。将存储软件和业务运行到一块,既减少了设备量,减少了电力使用,本地读取也提高了I/O的存取效率。这在几年前是做不到的,因为CPU和内存太有限了。

b. 网络互联越来越快,无论是万兆,40Gb以太网,还是Infiniband(无限宽带技术),使得我们的软件能够将独立的存储设备进行互连,通过分布式文件系统形成共享的存储池,供上层应用使用。

c. 如果说SSD等硬件厂商让单个存储设备跑的更快,我们的软件的意义在于,让超大量的这些存储设备,一起工作,提供无止境的整体性能和容量。


相关推荐 / 热点新闻
2020 - 09 - 01
点击次数: 512
两情若是长久时,又岂在朝朝暮暮”,这是众人熟知的诗句,出自宋代大诗人秦观的《鹊桥仙·纤云弄巧》,古时候七夕只能望月寄相思,书信是表达爱意的方式,车马是传递信息的唯一途径。而在我们飞速发展的时代,相思,相见,想诉,却是那么的触手可及。你不用每早快马加鞭前往朝廷议政,你不用研磨执笔书写您的未来,所有的一切全在你的指尖。    8月24日,农历七月七日七夕节前一天全码特的小...
2020 - 08 - 19
点击次数: 503
时隔十八个月,计算与存储再次携手,于8月16-20日在云南大理共同举办“华为分销合作伙伴峰会”,本次大会旨在答谢合作伙伴过去对华为的贡献,同时向伙伴们传达最新的渠道政策及规划,为2020年分销业务铺平前进的道路。会议分为两大部分:         8月17日(周一):计算日(2020华为-intel分销合作伙伴峰会)  8月18日(周二)...
2020 - 04 - 10
点击次数: 516
百年难遇的疫情肆虐全球,白衣卫士们保护着我们静好中前行。新冠肺炎疫情的发生,不可避免会对我国经济和社会发展造成较大的冲击,特别是中短期内带来的综合影响不可忽视。2个月过去了,疫情尚未结束,全码特也在彷徨中复工,艰难中奋进!随危而来的,必然是有机,“需求永远存在”,需求可能会萎缩但绝不可能消失,能抓住新的需求,谁就抓住了新时代的钥匙。长达数月的周期,势必会造成人们心理和生活习惯上的改变,没有伤痕累累...


Copyright ©2018 - 2019 成都全码特时代科技有限公司
犀牛云提供企业云服务