当前位置:Linux教程 - Linux业界 - Linux集群主导高性能计算

Linux集群主导高性能计算

作者: 中国计算机报 郭涛
11月份先后公布的“2005年中国高性能计算性能TOP100(HPC TOP100)排行榜”以及HPC全球TOP500排行榜已经成了高性能计算领域的晴雨表,不仅全面反映了当今高性能计算领域的最新成就,而且预示着未来高性能计算的发展方向。分析两份排行榜的数据不难发现,Linux和集群技术的日益普及将深刻地影响高性能计算产业的发展。

  “双星”闪动

  Linux Networx公司总裁兼首席运营官Dean Hutchings介绍说:“全球HPC市场正以每年30%的速度快速增长。HPC市场的整体份额达75亿美元,其中,一半以上来自Linux系统。”11月公布的全球TOP500排行榜也显示,有72%的上榜产品采用了Linux系统。多年以来,超级计算机从最初的向量机到RISC SMP,再到集群系统,系统正从专有走向开放,应用也从科学计算等高精尖领域转向大众化的商用领域,而集群、Linux和开源软件的普及加速了这种转变。

  再看看中国的TOP100,也会得出相同的结论。中国目前高性能计算的总性能是102Tflops,总性能突破百万亿次大关。在100个上榜的产品中,90个是集群系统(而2004年是48个),而排名前10的系统全部都是集群。由此可见,在HPC领域,集群已经显示出了极强的集团优势。

  谈到集群、Linux将给HPC领域带来哪些影响,Dean Hutchings表示:“在下一个10年中,虽然超级计算机不可能都变成集群,但是可以肯定的是,集群系统还会有更大幅度的增长。对于集群系统来说,迫切需要解决的问题是如何管理,并使系统便于扩展,而采用标准化的技术和产品是一个潮流。”

  三位一体

  Linux Networx公司是专注于Linux集群系统研发的厂商。在最新一期的全球TOP500排行榜中,Linux Networx有16套集群系统上榜,成为IBM、HP之后第二阵营中的佼佼者。从以前的主打产品Evolocity集群,到最新发布的集群产品LS系列,Linux Networx公司认为,一套超级计算机应该是计算系统、存储系统与可视化三位一体的系统。

  具体来说,计算系统的努力方向是不断提升计算性能。通过优化系统架构,采用多个节点和CPU,并对应用软件进行优化等方法,就可以解决。对于一般的HPC厂商来说,提高计算性能是最基本的能力,并不存在太大的障碍。但对于配套的存储方案来说,大多数HPC厂商还是采取与相关厂商合作的方式,而不是针对高性能计算系统提供标准化的存储解决方案。解决存储问题的关键是,保障高性能计算系统常用的并行文件系统的性能和可靠性。可视化对于商业用户来说将是一大福音。以前,在石油勘探或航空航天等领域,采用超级计算机完成一项计算任务后,得到的庞大而复杂的数据只有少数专业人员才看得懂,而采用可视化技术后,计算结果就是一幅幅色彩斑斓的动画,所有数据都用直观的方式体现出来,即使是普通技术人员也可以一目了然。

  Dean Hutchings表示:“我们的目标是将计算、存储与可视化集成在一起,为用户提供标准化的解决方案。2006年,我们将在存储和可视化方面实现突破。”

  众矢之的

  以前,一提到高性能计算,人们首先想到的就是科学计算、庞大而笨重的机器、高昂的投入……如今,高性能计算已经深入到商用领域,政府、教育、石油勘探,甚至网游都可见集群系统的身影。

  从中国TOP100来看,2005年,高性能计算的应用领域越来越宽,主要分布在科学计算、电信、能源、金融、政府、教育等行业,其中用于石油勘探的系统就有29套。结合近两年的数据,HPC在电信、税务等领域的增长超过了200%。

  谈到商用市场的竞争,Dean Hutchings表示:“这是一个竞争激烈的市场。以前,人们更多的关注系统的计算能力,现在,用户更关注系统的优化、稳定性以及利用率,高性价比是优先考虑的问题。对于用户中存在的HPC系统利用率低的问题,一方面原因是系统整体设计的问题,另一方面是HPC与应用软件的配合问题。”

  伴随LS系列集群产品的推出,Linux Networx公司开始向市场提供标准化、通用的超级计算机产品,而商用市场是一个主要的产品市场。Dean Hutchings介绍说:“多采用定制化产品的高端市场与商用市场都在成长。4年前,Linux Networx的产品有90%集中在高端,商用市场的收入只占5%,如今,定制化的产品只占65%,而商用市场的产品增长到35%。我们将高端的Evolocity集群产品的技术下移,采用标准化技术,针对中高端市场推出了LS系列产品。”

  变数

  谈到未来HPC技术的发展趋势,Dean Hutchings表示:“HPC的发展趋势主要体现在以下3个方面:第一,集群系统的应用将更加广泛;第二,体系结构还会变化,比如双核甚至多核CPU的应用,并行计算模型的应用;第三,集群系统的节能问题会凸现出来,比如冷却系统的设计,以及智能化的能源管理都是要面对的新课题。”

  2004年,记者第一次采访Dean Hutchings时,他认为对于中国市场来说,16~64颗CPU的集群系统是应用的主流。时隔一年,Dean Hutchings表示,HPC市场在扩大,用户的需求也在增长,虽然中端市场仍是增长比较快的市场,但从CPU的数量来看,由于双核CPU的应用,128个,甚至256个CPU的系统也将受到用户的青睐。Linux Networx公司将根据用户的需求,提供与其应用相适合的CPU。“HPC系统采用双核或多核CPU是一个趋势。” Dean Hutchings认为,“由于不同的应用软件在配置不同品牌CPU的系统中,运行效率不同。因此,从某种角度讲,软件决定了CPU的选择。”

  过去,HPC领域一直采用Linpack评价体系。Linpack指标反映的是CPU的计算能力,虽然结果一目了解,但是毕竟不太全面。如今,用户在采购HPC系统时,除了关注计算能力以外,对于系统的优化、性价比也同样关注。正因为如此,由美日两国HPC人员参与制定的HPC Chanllenge Benchmark评价标准引起了人们的关注。业界的一种普通观点认为,HPC Chanllenge Benchmark评价标准是对Linpack指标的补充,是从更多角度对高性能计算机的性能进行评测,除了计算能力外,内存访问、网络传输等也被纳入了评价体系。Dean Hutchings认为:“以前的Linpack评价体系指标单一,简单明了,用户容易接受,而HPC Chanllenge Benchmark评价标准可以更全面地反映一个系统的情况。不过,对于用户来说,关键是能用HPC做多少有用功。”

  11月,从美国西雅图举行的超级计算机博览会上传来消息,微软有意进军HPC领域。从桌面系统到网络存储,再到如今的HPC,微软的版图仍在扩大。微软希望为超级计算机提供一套完整的Windows平台,帮助用户更快地安装和运行超级计算机。在Linux日渐成为主导的HPC领域,Windows平台到底能有多大作为?Dean Hutchings表示:“微软一直以来都在为大众服务,它进入HPC领域,有可能在低端市场上掀起波澜。不过,HPC毕竟不是PC,不可能像PC一样销售量以百万台计。HPC的主要市场还是在中高端。”

  

  LS/X

  

  LS/X结构

  写在后面

  服务中国

  去年的这个时候,Linux Networx公司携Evolocity集群产品正式进入中国市场。当时,Linux Networx公司总裁兼首席运营官Dean Hutchings就表示:“占有中国高性能计算市场20%的份额是公司的长远目标。”一年时间过去了,以CAE(计算机辅助工程分析)应用领域为突破口,Evolocity集群产品已经进入了中国的制造、教育和政府等领域,并在科学计算、电子政务等方面开了个好头。2005年12月1日,Linux Networx又在中国市场推出了新一代的Linux集群产品LS系列。Dean Hutchings仍旧雄心勃勃:“去年,我们获得了4000万美元的风险投资,将全部用于开拓美国以外的海外市场。2006年,我们预计总收入的10%将来自于亚洲市场,特别是中国和日本市场。”

  目前,Linux Networx向中国市场提供的产品,价格从5万美元到200万美元都有,中小型的集群产品将是主打。最新发布的LS-1集群产品就定位在中端,采用了全新的模块化设计理念,可与流动动力学、碰撞分析、工程设计、3D图形显示等第三方软件实现完美结合,系统最大可扩展到128个节点。可以预测,更高性价比的LS-1集群产品将成为2006年Linux Networx在中国力推的产品。

  今年6月,Linux Networx公司任命了新的CEO,这也加速了公司市场定位的转型。Dean Hutchings表示:“公司正从一个产品制造商向服务提供商转变。从产品的角度看,公司也从单纯地为用户提供大型的定制化的Linux集群系统转变为提供通用、标准化的集群产品。这种变化不是一种革命,而是一种进化,是为了满足用户的多种需求。”2006年,Linux Networx将重拳出击商用市场,航空航天、汽车制造、石油及天然气、政府是公司在中国市场重点投入的领域。明年初,Linux Networx会在北京、西安等地设立办事机构,开始本地化的服务。