来自 操作系统 2020-05-07 00:57 的文章
当前位置: 网上澳门金莎娱乐 > 操作系统 > 正文

Z_HPC_三种存储方案

自从去年Oracle收购Sun之后,Lustre文件系统的命运就出现了不确定性。事实上,这种不确定性还得回溯到收购之前很久。为结束猜测,Oracle借近日召开的2010超级计算大会重申了对Lustre的承诺。

HPC三种存储方案

Oracle存储高级产品经理Jason Schaffer表示,Oracle不会让Lustre有本质上的改变,我们对Lustre和社区以及高性能计算(HPC)市场将给予坚定的承诺。

我们常说工匠做合适的工作需要选择正确的工具。虽然这句话随处可见,但它却道出了设计和制造HPC系统的精髓。一直以来,HPC的计算部分都是用这种方法选择处理器和内存并设计互联结构、规定软件栈和工具。当然,这一切都和存储密不可分。

当然,Lustre是一个高性能开源文件系统,通常在高性能计算环境中使用。它基于Linux,由Oracle设计、开发和维护,许多开源社区的个人和公司也参与其中。它的基本设计是通过大规模并行来实现I/O性能,提供远远超出传统文件系统限制的规模。据Schaffer表示,Lustre可扩展到数十PB、每秒数百Gb和数千客户端,可靠部署到许多群集环境中。

要实现性能、成本、可控性、可扩展性和数据完整性的良好平衡,根据不同情况有几种存储方案可供选择。例如有些数据连续几个月都没有被存取,那么是否所有数据都需要用快速存储?又或者是否有必要用一个容量大但性能低的存储方式保留数据而不是运行应用程序?不同的情况应该使用不同的存储方案解决。

网上澳门金莎娱乐,Schaffer称,Lustre是世界上最好的并行文件系统,我们将继续投资它的研发。

这篇文章接下来的部分将描述三种HPC存储方案:(1)联机永久存储(有时被称为主存储),(2)高速高速暂存器,(3)分类存储。每一种解决方案都将对整个数据生命周期(从产生到最后归档,打个比方说就是从摇篮到坟墓)起作用。图1 阐述了这些存储工具如何适应IDC(International Data Corporation,国际数据公司)的HPC分类和吞吐量。

他强调Oracle并没改变Sun的策略,而是大大推动它。那是什么策略?对于Oracle来说,就是领导Lustre开源社区,并继续在这方面投资以支持对HPC的大量使用。

▲图 1. 存储工具如何符合一定的规模及吞吐量

他指出了这样的事实,在刚刚发布全世界最快的超级计算机TOP500名单上,前100名系统中有61个都利用了Lustre。

这三种方案能够很灵活地解决HPC的存储问题,满足您的需求并提供给您一个高效存储方案。如果您需要一种以上的存储方式,您可以轻松地以高效、低成本的方式对它进行扩展。如果您的应用程序和用户不需要高速暂存器,那么您就可以不用付费购买并行 I/O 存储方案。

Schaffer称,中国最好的高性能计算系统也采用了Lustre。

接下来,我们将要讨论第一种方案——联机永久存储,它专注于为小型系统提供合理的性能表现。另外,如果大型系统对用户主目录和应用程序目录的性能没有迫切的需求,那么联机存储也是一个不错的选择。

他还谈论了位于中国天津的国家超级计算机中心开发的天河1号A系统。天河1号A以其2.57 petaflops的性能摘得的Linpack测试性能TOP500榜首。它具有29376GB的内存,采用了NVIDIA图形处理器(GPU)和英特尔至强5600系列处理器。它采用一种定制互连,据说能够处理大约2倍的InfiniBand高速数据。这项功能削减了集群内延迟,并是天河1号A位居榜首的关键因素之一。

HPC联机永久存储: NFS是候选方案之一

Schaffer表示:大多数被Lustre所吸引的客户都是对规模与/或性能感兴趣的,Lustre的竞争力要么在于规模出众,要么在于性能出众。

HPC的计算节点都需要一个常见的文件系统。NFS为这个常见的文件系统提供了一个简单、稳固的解决方案。 基于NFS标准的存储方案被广泛用于Linux的HPC集群空间, 因为NFS简单易操作并且历经考验,故障模式为公众所知,而且在每一个Linux发行版中都是事实上的标准安装包,非常方便。这种特性让NFS成为了许多HPC装置的联机存储方案的一个较好的选择。根据2009IDC的调研,在110个HPC站点中,NFS是使用最为广泛的文件系统。91个最大的HPC系统中,56%都在使用NFS。同样的,近期展开的64个HPC系统中,其中64%使用的是NFS。这份调查说明在HPC部署中,NFS作为一个顶级文件系统的选择是很重要的。

他说,虽然科学和学术界用户是最突出的,但也有大量的商业客户,尤其在石油和天然气、媒体和娱乐领域。

无论以下哪种情况,NFS 都可以为HPC集群提供一个稳定的文件系统方案:(1) 集群应用程序的 I/O 要求可以通过单个或者多个集群服务器满足,(2)计算节点数量与连接后台存储的带宽相称,(3)存储容量能够满足集群需要,(4) 您需要一个可靠、容易理解并易操作的存储。

分析师见解

从理论上来说,如果应用程序的文件访问模式是N个用户访问N个文件,而且并行应用程序只有单个进程执行I/O,在这种情况下NFS作为主应用程序存储将运行得很好。许多使用NFS作为主存储的应用程序都能符合要求并运行得非常好。目前的最佳实践是无论HPC计算集群多大,统一使用10Gb以太网或者InfiniBand连接NFS 服务器。

以上是来自甲骨文官方观点,下面看看分析师有何见解。

然而,当系统开始庞大起来或者数据集增加,或者当许多计算客户同时存取一个单一文件(N对1 文档存取),NFS可能就不是最佳选择方案了。在这种情况下,应用程序可以运用专用的高性能存储器来执行应用。

StorageIO 的分析师Greg Schulz 表示,Lustre之所以在高性能计算领域内成功,是因为它是针对那些需要读写大型数据集、或者文件要求并行访问文件的环境或者场景,相比之下,大多数通用的横向扩展NAS解决方案都是针对小型文件的并发访问。同样地,大多数通用或者横向扩展型NAS包括很多集群文件系统解决方案,具有例如快照和复制等特性来管理小型文件,在这方面,Lustre具有一定的优势,能够安全保存和提供来自对象存储目标和对象存储服务器的并行高吞吐读写操作。

总体来说,NFS不仅对小型乃至中型集群有效,在更大一些的应用环境里也同样有效。对于大一点的集群来说,NFS仍然在启用集群节点的主目录和的应用程序的共享方面发挥着重要作用。在这种情况下, NFS不是运行应用程序的最主要的存储,因此即使对大量的计算节点来说性能要求也不高。在计算节点上轻松挂载用户主目录和应用程序,也可以使用NFS实现。

是因为这样的环境或场景需要读取或写入非常大的数据集,或文件要求并行存取通用文件,以及针对小文件进行并发访问的向外扩展NAS解决方案。同样的,大部分包括许多集群的通用或向外扩展NAS文件系统解决方案都具有很多功能,比如用于管理小文件的快照、复制。Lustre在对象存储服务器(OST)总有一个主要的租户,能够安全地存储和提供高吞吐量实现多个对象存储目标的并行读取和写入。

3.2 HPC联机永久存储: 戴尔NFS 存储解决方案 (NSS)

因此,Schulz称,很少有用户会尝试让Lustre做不符合设计初衷的事情(例如围绕Lustre的常见应用)。Schulz表示,Lustre在支持研发、勘探、仿真或者其他要求并行处理大型数据集工作负载的很多商用环境中找到了自己的一席之地。另一方面,在面对来自戴尔、EMC、IBM、BlueArc、NetApp和OracleZFS的通用NAS解决方案时,Lustre通常并不是最合适的。换句话说,虽然这些都是文件服务系统,但是Lustre和其他类似方法(例如Panasas PanFS)更多地应用于特定的垂直应用环境中,而更多通用系统则在其他领域发挥他们的作用。

戴尔NFS 存储解决方案(NSS)是一种完全基于NFS的文件存储,提供包括所有必须的硬件、软件、性能指南、支持和部署服务。戴尔NSS通过提供调整服务器、存储以及文件系统配置的详细指南,帮助用户部署NFS 服务器,以达到最佳性能及可靠性。

Schulz表示,这就是对于手头的工作要利用正确的工具和技术来处理。

戴尔为您提供六种NSS推荐配置,和戴尔不断发展的配置和调整存储系统最佳实践一道为帮助用户实现最佳性能。您有两个连接选择:四倍速率 (QDR) 无限带宽或者10Gb以太网连接,三种规模选择:小型(20 TB 存储容量), 中型 (40 TB存储容量),大型 (80 TB存储容量)。另外为满足应用程序的性能需求,QDR 无限带宽方案提供了高达1.4 GBps的总吞吐量, 同时10Gb以太网方案可以提供高达1.1 GBps的总吞吐量。所有六种配置使用戴尔PowerEdge和PowerVault 产品以及XFS (Red HatScalable File System )提供模块化方法来构建存储方案,裸容量能够扩展到高达96 TB。

他认为Lustre前景光明,但它还将会停留在高性能计算这一重点领域,除非有人可以创新地将其定位于更多通用的应用程序甚至是需要这种进程的仍在发展中的云。

构成戴尔NSS的主模块为PowerEdge R710 网关服务器和 PowerVault MD1200 直连存储附件。如果您需要戴尔NSS的详细配置参数,欢迎访问戴尔NSS网站。

(责任编辑:admin)

3.3 NSS性能

本章节将分别比较NSS小型、中性以及大型配置的大规模连续读写性能。以下讨论的性能数据均来自由32 台PowerEdge R410服务器作为计算节点和NFS 客户端的集群。基于10Gb以太网和InfiniBand,我们做了三组测试。

测试使用IOzone进行。IOzone是一个用于衡量大规模连续读写的工业标准。测试中为达到足够大的规模和连续强度,我们使用高达25GB的文件和1024KB的请求大小来保证NFS服务器和客户端缓存均保持饱和的工作状态。IOzone在集群模式下运行,并在每个计算节点上开启一个线程。

第一组测试是在IPoIB(IP over InfiniBand)上进行大型连续读写测试。

图2显示的是一系列节点也就是NFS 客户端的大规模连续写性能。对于大规模连续写,在使用NSS大型结构时达到了最高的性能。该大型结构的速度峰值大概在1.45GB/秒左右,测试中,大型结构存储表现优于NSS的小型和中型结构表现,原因在于大型结构存储拥有更多的硬盘和附加的磁盘陈列控制器,从而获得更高的处理能力和主轴来处理工作负荷。正如图2所示,当计算节点达到一定数量之后,存储性能有所下降,这是由于NFS并发写流量使磁盘成为性能瓶颈。

▲图2 NSS IPoIB大规模连续写性能

本文由网上澳门金莎娱乐发布于操作系统,转载请注明出处:Z_HPC_三种存储方案

关键词: