十五863计划信息领域技术发展战略建议
十五863计划信息领域技术发展战略建议(有关计算机部分)
李国杰
2001年12月
一.计算机技术发展趋势
21世纪高性能计算的趋势是与网络结合,产生网格(Grid)新技术。计算机的应用模式,经历了60和70年代的终端-主机模式、80年代的客户-服务器模式、90年代的浏览器-万维网(WEB)模式,正在向未来的客户(浏览器)-虚拟计算(服务)环境模式发展。网格就是形成虚拟计算和信息服务环境的基础设施。
网格的思想1960年人们就提出了。但网格的大规模研究只是近十年的事。今天,网格研究已取得了很大进展,就连大众媒体上也出现了很多与网格相关的技术名词:元计算(metacomputing)、peer-to-peer computing、分布计算(distributed computing)、计算网格(computing grid)、信息网格(information grid)、知识网格(knowledge grid)、数据网格(data grid)、访问网格(access grid)、万维网服务(web service)等等。
目前,网格的研究主要发生在美国和欧洲。英国政府已投资1亿英镑,研制“英国国家网格”(UK National Grid)。美国政府用于网格技术基础研究经费已达五亿美元。美国军方已在规划实施一个宏大的网格计划,叫作“全球信息网格”(Global Information Grid),预计在2020年完成。作为这个计划的一部分,美国海军和海军陆战队已先期启动一个160亿美元的八年项目,包括系统的研制、建设、维护和升级。
随着网格研究在学术界的加速,信息产业界的大公司也相继公布了与网格目标一致的研究开发计划。比如,惠普、IBM、微软、太阳微系统等公司最近取得共识,支持XML、SOAP、UDDI等万维网标准,从而开发出新一代的网络应用,称为万维网服务(Web Service),其目的是将因特网上的资源和信息汇聚在一起,组合成企业和消费者所需要的服务。惠普推出了eSpeak万维网服务平台;IBM用它的WebSphere平台和一系列中间件实现万维网服务;微软的路线是通过它的.Net计划和C#语言;太阳微系统公司则通过Open Network Environment(Sun ONE)计划和Java平台。另外,IBM最近宣布,投资40亿美元,启动一个全公司的“网格计算创新计划”。太阳微系统公司在2000年9月公布了它的网格引擎软件。
国际上的网格研究主要采用开放源码、公开合作的模式。全球网格论坛(Global Grid Forum)是目前主要的合作组织。比较有影响的研究计划包括Globus、Legion、Information Power Grid、EuroGrid、Distributed Terascale Facility等。
2001年8月,美国国家科学基金委(NSF)宣布了一个重大科研项目,研制称为“分布式万亿级设施”(Distributed Terascale Facility)的网格系统,简称TeraGrid。本项目为期三年,NSF投入五千三百万美元科研和运作经费,工业界的合作者包括英特尔、IBM、Qwest、 Myricom、Oracle、Sun Microsystems等公司。
业界观察家认为,美国以前的网格研究都是在已部署的高性能计算设备基础上进行研制工作,而TeraGrid将是世界上第一个从设计开始就面向网格的广域超级计算平台。NSF的主任Colwell博士认为,TeraGrid将创立21世纪信息技术的新标准,成为一种巨大的国家资源。
TeraGrid建成之后,将包括位于伊利诺大学国家超级计算应用中心(NCSA)、圣地亚哥超级计算中心(SDSC)、阿岗实验室(Argonne)、加州理工学院(Caltech)的四个结点,通过40Gbps的光纤网互联,共含有3300个处理器、450TB磁盘容量,总的峰值计算速度约每秒11万亿次浮点运算。其主要应用领域为气候、地震、发动机模拟、生物、材料等科学计算和工程模拟应用。
经过一年多时间的预研和规划工作,欧盟国家在2001年正式启动了网格研究的一系列大项目。与美国同行一致的是,欧洲科学家和政府认为网格是21世纪信息技术重要的基础设施。但是,欧洲的网格项目与美国相比还是有几个不同的特点:第一,欧洲网格项目提出了一种三层框架,即计算网格/数据网格、信息网格、知识网格。美国的网格研究则集中在计算网格/数据网格层次。第二,在信息网格和知识网格层次,欧洲人认为他们比美国更具有优势,因为他们在传统的智能处理方面有多年的积累。这个层次的网格研究工作还可以借助已经开展的相关研究的成果,如数据挖掘、e-Publication、Semantic Web、Web of Trust等等。第三,欧洲的网格项目比较强调网格的应用,对网格应用的投入高于对网格技术本身的投入。尽管大量的网格应用仍然是科学计算和工程模拟,欧洲人认为网格技术也可以用到其它领域,包括教育(e-Learning)和文化(e-Culture)。
下面举两个国家的具体例子。英国政府已投入1.18亿英镑(约1.7亿美元),启动一个为期三年的网格研究项目。其中,0.74亿英镑用于网格应用,包括粒子物理、生物信息学、气候变化、工程系统设计等领域。0.35亿英镑用于网格核心技术,如网格系统软件、网格安全、元数据、可扩展性等。工业界还将匹配2000万英镑左右的经费用于网格核心技术的研究。另外900万英镑将用作购买高性能计算机的追加经费,使英国国家网格的聚合计算速度达到每秒万亿次浮点运算的量级。除了这1.18亿英镑的经费外,英国还将另有经费支持互联网络的升级。到2002年,英国国家网格的主干网的速率将达到20Gbps。意大利政府的网格项目也是三年,总投入约1341万欧元,另外还有约2000万欧元用于高性能计算中心。除了推动科技进步外,意大利政府希望这些网格项目能够培养出一支掌握了网格技术的核心队伍。
网格技术尽管还远不如因特网和万维网技术那么成熟,但已经在一些公司和研究所进入了试用或实用阶段。美国能源部的山地亚国家实验室(Sandia Lab)最近宣布,它的“先进战略计算创新计划网格”(ASCI Grid),投入生产性使用,其主要用途是核武器研究。IBM公司部署了一个内部研究网格,便于分散在美国、以色列、瑞士、日本的IBM研究人员共享计算资源。医药、化工、通信、电子、汽车等领域的一些大公司,如辉瑞(Pfizer)、爱立信(Ericsson)、日立(Hitachi)、宝马(BMW)、联合利华(Unilever)、葛兰素威康(Glaxo Wellcome)、史克必成(Smith-Kline)等,已经开始构造和试用内部网格(internal grid)。
2000年9月,美国国家科学基金会(NSF)的计算机与信息科学与工程学部(CISE)宣布资助网格物理网(Grid Physics Network,简称Griphyn)大型科研项目,资助经费为1190万美元。该项目由佛罗里达大学的Paul Avery教授和芝加哥大学的Ian Foster教授领导,为期五年,旨在使用网格技术处理和解释由高能物理和天体物理实验中产生的海量数据,进而发现并共享科学知识。据悉,这笔1190万美元的经费主要用于研究和开发,项目组还在申请一笔7000万美元的设备经费。研究开发和系统建设将同步进行。
加里福利亚州在2001年投资3亿多美元在圣地亚哥附近成立了“加州通信与信息技术研究所”,从事信息网格的研究。这第一笔3亿多美元的经费将保证研究所2001-2004年度的研究开销,其中1.4亿美元由IBM、太阳微系统、波音公司等企业提供,其余经费由州政府提供。研究所的所长是“国家高性能计算应用中心”(NCSA)的前主任,元计算(Metacomputing)的发明者Larry Smarr。NCSA在历史上曾参与了因特网、Mosaic浏览器、计算可视化等多项重要发明,也是目前美国网格项目的一个重要中心。研究所还将从加州各大学中聘请200多名全职和兼职研究人员。该研究所的主要研究方向之一是开发新型的信息网格技术来构造一个“智能交通基础设施”。很多通过因特网互联为一体的服务器将与公路上的传感器和汽车中电脑无线地联为一体,从而更有效地控制交通。
globus军事模拟
网格技术不是一般的网络技术,决不仅仅是网络的一种中间件,本质上是在INTERNET环境下高性能计算机的应用。在美国,万亿次以上的高性能计算机的研制主要是由能源部的“加速战略计算计划”(ASCI)推动的。美国国防部的“高性能计算现代化”计划到2003年,投资16亿美元建立几十个计算中心。美国Petaflops(千万亿次级系统)计划和Ultrascale(亿亿次级系统)尚处在蕴酿和小规模预研阶段。
日本政府最近授予委托NEC公司一个项目,于2002年研制出32万亿次级系统,主要用于高分辨率地球仿真模拟。欧洲于1991年制定了“Teraflops计划”, 1994年投入2亿4千万美元于“高性能计算与网络(HPCN)”计划,其中包括支持QSW公司研制万亿次级的SIMD系统APE Mille ,机群系统QM-1,和混合型结构系统PQE2000 。印度于1993年开始研制千亿次级计算机,1998年3月推出了一千亿次峰值速度的机群系统PARAM 10000,计划在2000年后研制万亿次机。
美、欧、日等发达国家,除了通过政府、企业等渠道不断地研制性能越来越高的计算机系统以外,还非常重视高性能计算机在关键应用领域和部门的布署和应用。这些从TOP500排行榜中能够清楚地看到。另以德国为例,其重要研究机构,除了前几年购自美、日的Cray T3E, Cray T90, Fujitsu VPP700, Hitachi S3800等超级计算机外,今年又新装备了万亿次计算机Hitachi SR8000,用于超导和量子化学方面的研究工作。美国政府制定的“计算、信息与通信”(CIC)计划中,也把高性能计算机的获得列为重要的一项。
我国的高性能计算事业,乃至整个计算机产业,在总体上落后于西方国家,一个重要原因是“文化大革命”使我们错过了参与发明互联网的前两个浪潮,即Internet和Web。目前,国际科技界正在酝酿着第三次浪潮,即网格(Grid)。根据Internet和Web发展的历史,网格的重要技术标准将在2003-2005时段出现。这个技术将主导2003-2015年的信息技术领域发展趋势。现在正是一个十年、二十年也难逢的历史性机遇。
因特网发展至今已经32年了,出现了3180个技术标准文档(RFC)。我国科技界仅参与了一个技术标准文档的制定。那就是1996年3月(因特网第一个标准发明27年后,TCP/IP协议发明22年后)胡道元教授牵头制定的中文字符编码标准(RFC 1922)。万维网(Web)发展至今也近12年了,出现了46个技术标准,我国科技界还没有一个参与制定的技术标准还一个也没有。
我们不希望历史重演。我们不希望看到,在2005年、2010年的时候,国际科技界制定的网格技术标准中,还是没有我国科技界的参与。网格是发达国家学术界正在研究的课题,发达国家的企业界刚刚开始这方面的研究工作,还要几年才会有产品出现。我们与发达国家的差距并不大。如果我们抓住这个机遇,快速实施本专项的研究计划,将会促成我国科技界参与网格的原始性创新和国际标准的制定。
信息时代一个突出的特征,是信息资料的急剧增长,随之而来的是信息存储和管理的难题。例如,国家知识产权局最近声称,国家知识产权局现在硬盘存储容量是8TB,而2010年预计将达到近百TB。无独有偶,对于电信运营商而言,因业务扩展而日益迫切的信息存储尤其重要。电信业服务范围广泛,用户数量多,多年来积累了大量的计费、电子邮件等业务数据,而且这些数据每时每刻都在以惊人的速度增长。采用集中式存储管理不仅可以提高存储系统的性能,而且具有很高的可扩展性,其中包括容量的可扩展性和管理的可扩展性。
计算机系统结构在历经以CPU为中心(CISC,RISC,VLIW)和以内存技术为中心(SMP,NUMA,COMA,Cluster/DSM)的阶段之后,逐渐转变为以I/O特别是外部存储系统为核心的阶段。这种变化主要是由以下几个原因造成的:(a)CPU速度增长远远高于I/O速度增长。CPU的速度在过去的十年中至少增长了30倍,而I/O,特别是磁盘的速度只增长了1倍。一个应用经常花更多的时间在I/O上而不是CPU上。因此,I/O成为许多应用的瓶颈。(b)计算机使用变化。计算机的使用方式也发生了很大的变化。计算机从早期的计算为主变为今天的信息服务为主。而信息服务往往是通过网络来完成的,网络和存储的I/O就变成了服务的主体。(c)磁盘设备的容量和数据量大大增加。虽然磁盘访问的速度增加很慢,但其容量却是增加飞速地增长。单个磁盘的容量从1991年每年以60%的速度增长,从1997年后,以每年一倍以上的速度增长。现在,商用化磁盘的密度已达到20Gb/feet2,而实验室的磁盘密度则高达100Gb/feet2。与80年代早期的磁盘相比,单个磁盘容量的增长高达近10,000倍。从数据量上看,数据量的增加远远大于数据处理能力的增加,数据量的增长速度不仅远远高于CPU增长的速度,而且速度还在不断的提高。面临这样的信息“雪崩”,必须重新设计网络结构和服务器系统结构来更有效地完成信息处理
。
随着信息技术的发展和广泛应用,人们对外部设备(主要是外存)的依赖性越来越大。数据的可靠性(Reliability)和数据的可用性(Availability)变得越来越重要。随着磁盘技术的进步,尤其是RAID技术的广泛采用,数据的可靠性得以大大增加。与此相反,数据的可用性并没有很大改善。为了解决这些问题,一方面,将存储设备完全与服务器分离,从而提高数据的“硬”可用性;另一方面,对存储部分采用有效的集中式管理,从而提高数据的“软”可用性。服务器与存储设备分离可以大大提高数据管理的效率。直接上网的大规模存储系统已成为重要的研究方向。
二、 国内外经济社会发展需求
我国的国民经济、社会发展、国防建设的众多领域,从服务业、制造业、生物、资源、环保、能源、科研、气象、教育、社区、政府服务、社会保障、到撒手锏武器的研制,对高性能计算机与网格已经提出了重大需求。我国的企业,不论是国有企业还是私有企业、高技术企业还是传统企业、大型企业还是中小企业,都可以从网格技术获利。下面举几个例子,分别代表制造业、金融业、信息服务业、政府服务、能源、资源环境、科学研究、国防等领域。
制造业的“网络化虚拟制造”需求 自改革开放以来,我国的制造业为适应市场经济和竞争的需要,已经出现了很大的变化。我国加入WTO成功和经济全球化的趋势,只会加剧这种变化。制造业的专家们把这些变化归纳成了下述几个趋势:
产品品种趋多。这方面最明显的例子是船舶工业,他们常常需要按用户的需求定制每艘船只。过去那种设计出一个产品然后大批量生产的情况已经在逐渐减少。即使像汽车、家电、制鞋等传统制造行业,也必须不断推出多种产品,每种产品还有不同的档次和配置。
产品研制周期趋短。为了加强竞争,早占市场,新产品的研制周期必须大大缩短。在飞机制造业等行业,研制周期必须缩短到现在的一半以下。
产品成本控制趋严。由于产品成本对很多产品的市场价格具有放大作用(成本节约一元钱则价格可能降低几元钱),降低成本是应对市场竞争的重要手段。
产品技术起点趋高。产品的创新和技术先进性对市场竞争力变得越来越重要。
协调面趋广。新产品的创新、设计、研制开发、生产、市场销售、客户服务的整个环节中越来越需要多个合作伙伴的参与和协调,包括管理人员、技术人员、技术监督、财务监督、环保部门、政府主管部门、零部件厂商、中间商、用户、消费者协会等等。这些人员和单位常常离散分布在全国各地,甚至国外。
为了适应这些变化,我国以飞机、汽车、船舶为代表的大型制造企业采取了“以信息化带动工业化”的战略举措,提出了虚拟化(数字化)、网络化、敏捷化制造环境的需求。他们需要的环境,就是面向制造业的网格环境。它能提供跨地域的高性能网络制造平台,实现异地一体化协同工作、全数字化三维样机设计和仿真、跨企业信息资源共享、技术监督和质量控制、供应链管理、产品交付和售后服务等功能。研制成功这样的制造业网格,将极大地推动我国制造业跨越式发展。据飞机制造业的专家估计,与目前使用的传统方法相比,使用这种网格技术能够将产品研制周期缩短40%以上,研制经费降低了30%以上。
863高性能计算机将大大提升我国制造业的技术水平和竞争力。我国的飞机和船舶等少数技术密集型企业已经开始研究这种他们称之为“网络化虚拟制造”的网格相关技术。相对于他们的研究工作,高性能计算专项是一个互补关系。制造业的工作将为高性能专项提供需求,而高性能计算专项将为制造业提供平台、技术和人才。高性能计算专项将研制更为通用和标准的技术,这些技术和所培养的人才也能推动我国传统企业(尤其是国有大型企业)以及中小企业的“信息化带动工业化”工作。
金融界的“业务集中”需求 为了降低运行成本和管理成本,提高安全性、可靠性、运行效率和服务质量,加强实时宏观监控和风险防范,我国银行界正在实行“业务集中”的战略。“业务集中”也是国际银行界的趋势。但是,我国只有少数银行部分实现了数据集中或服务器集中,还没有银行完全实现业务集中。从技术上理想地看,所谓“业务集中”是指用“一台”虚拟的超级服务器取代银行分布在全国各地的计算机系统,使得所有银行业务在这台超级服务器上统一处理、所有银行数据统一存储和备份、所有银行安全权限统一管理。而网格技术的目的,恰恰就是提供这样的超级服务器系统。
我国的其它政府部门,如工商、税务、社保、公安、检察,海关等等,也有类似的需求。国内一些社保行业甚至提出了,如果它们等不及网格技术产品化,打算采用网格的思路集成现有技术。
信息服务业的高性能需求 高性能计算技术与网络技术融合而成的网格技术,将能够把现有的基于因特网通信和网站的信息服务提上一个新台阶,提供更高的性能和更好的服务品质。
国务院新闻办已经立项,要把它主管的人民网、新华网等网络媒体的服务器、内容等资源实现互通共享、统一管理、单一入口。这是一个典型的信息网格应用。
目前我国的网上教育(远程教育)主要采用题库、视频会议、网站内容等形式,还不能有力地激发发挥学生的主动性。我国一些研究机构和企业已经开始研究质量更高、更有智能的网上教育系统。有了网格,人们将能实现基于自动推理和符号计算的高性能智能教育系统。
网格的高性能特征还使得高质量多媒体信息服务成为可能,包括各种流媒体服务、虚拟主题公园、三维动画制作,等等。
政府服务中的“资源共享”和“协同工作”需求 北京市的电子政务规划,计划在2005年实现“建成体系完整、结构合理、高速宽带、互联互通的电子政务网络系统,建成本市政务系统共建共享的信息资源库,全面开展网上交互式办公”的目标。老百姓将看到一个网上的“一站式政府”,而在电子政务系统内部,所有的计算资源、存储资源、网络资源、数据资源、信息资源都连通成为一个整体。北京市在实施电子政务规划中,将工作分成四个层次:联网和上网、内容发布与办公自动化、资源共享、协同工作。北京市发现,现有网络技术难以实现后两个层次。他们所需要的技术,就是网格技术。
为了实现“科技奥运”的目标,北京市已经提出了环保、交通、数字奥运、运动科研和科普为重点的行动计划。本专项对该行动计划在高性能信息服务、模拟仿真、资源共享、协同工作方面能够起到重要的作用,推动一系列课题和工作的进展。高性能计算环境可以促进的“科技奥运”工作包括:北京沙尘监测、预报与防治模式研究,北京大气污染监测、预报和预警技术,北京水系统规划研究,北京城市智能交通系统规划研究;多语言实时互译系统,海量信息存储和处理技术,数字奥运基础信息服务软件,网上虚拟科普博物馆。
能源业的高性能可视化计算、资源共享、系统监控需求 石油行业将对信息技术的需求分为四类。(1)信息服务类:企业管理、数据库/Web, Intranet等;(2)勘探:地震资料处理、钻井数据的收集和处理(含测井、录井);(3)开发:油藏模拟等;(4)设计:地面建筑、管道等的计算机辅助设计。勘探和开发是计算密集型。石油行业对计算能力的需求远大于目前计算设备所能提供的能力。这有两个原因:(1)我国勘探度只有美国的1/300,还有大量勘探工作需要做;(2)即使对已勘探过的区域,其数据需要被反复处理,以得到越来越精确和“深层次”的知识。
石油行业用户不仅需要高性能计算,而且需要将分布在油田各地、乃至全国各地的各种资源连为一体,实现资源共享和高效率协同工作。这些资源包括计算机、可视化设备、数据、软件、专家等等。比如,我国比较缺少有经验的石油地质专家。有了网格,新疆油田可以共享河北的高性能计算机和北京的石油地质专家。
三峡工程的一个长期需求就是要对三峡大坝和周边系统实施24小时实时精密监控,并与后台的应力场和温度场仿真系统配合,及时地发现异常和隐患,保障三峡大坝的质量。更深一层的需求是将天气和水情预报系统与监控系统和仿真系统联为一体,实现提前预警功能。
资源环境领域的需求 我国在过去几十年已经花费了大量财力收集各种地下、地面、大气的资源数据;采用的手段包括地下勘探、地面人工测绘调查、和监测,航空遥感,卫星遥感等。做数据收集的部门包括国土局、测绘局、水利部和防总、林业部、核工业部、地矿部、石油部、科技部、环保局、建设部、气象局、海洋局、中科院等。这些数以千万亿字节(PB)计的数据是国家的宝贵财富和资产,但目前由于零碎地分散在很多地方,共享困难,利用率很低。将这些数据组织起来放在网格上供全国使用将有很多好处:
绘制各种全国性的可缩放的“地图”,如矿产分布、地下水分布、石油天然气分布、森林植被分布、动植物分布、地形分布、水资源分布、温度分布、道路桥梁分布等等。这些地图可以用二维、三维、甚至是虚拟现实方式显示。各部门用不同方式收集的数据有不同尺度和参数。网格化后,这些数据可以互相补充、互相纠错,一个部门测得的数据可以马上让全国受益。这样,全国的资源数据始终是最新的、最精确的、一致的。这些“地图”有很多用处,例如:区域规划、城市规划、建设项目;资源监控、环保、生态资源的可持续使用;法律和政策的依据、边界谈判、教育等。
利用网格技术于这些资源数据的收集、处理和供应会大大提高信息质量并降低成本,从而促成更多的人使用。资源信息和知识将是最具中国特色的网上信息源,有可能促成若干产业。
遥感应用(国家空间信息应用) 集获取、存储、处理、传输和分析海量遥感空间数据为一体的国家空间信息应用及服务体系对国家资源与环境的监控、社会的可持续发展和人民生活都具有重大意义。将网格系统应用于国家空间信息应用及服务体系的建设,将地理上分布的空间信息资源有机结合起来,提高高精度数据的获取与共享能力,利用网格计算能力实现对海量空间信息的有效处理和分析。
与环保和可持续发展相关的数据收集网和计算机网包括:环保总局的几百个环境监测站(已建到了县级),国家环科院的联合国卫星地球站,环科院、环境报、环境出版社等提供的环保科技信息(成果、文摘等),科学院自然资源综合考察委员会有一个生态站网(含50多个站点),林业部的监测网(13个站点)和每五年组织一次的8′ 8公里全国普查,国家水文总站监测网(几千个站点),气象系统的气象站已到县级。
现在的问题是从这些途径得到的宝贵的数据没有统一上网共享和管理,使用极不方便,使用率很低。网格可以解决这些问题。构造一体化的信息系统将带来下述好处:(1)为法律(如森林法、矿产法)的制定和执行提供量化的技术支持;(2)国家制定的《环境评价法》规定企业工程、建设项目、区域规划等都要提交环境影响评价报告。环保网格有利于信息共享、趋势分析,增加这些报告的量化性和客观性;(3)全国大气环境信息系统,便于信息查询、共享、历史趋势分析等;(4)全国河流信息系统,对监控水土流失、水域污染、防洪都有用;(5)全国生态数据库系统,有利于国家生态规划和法规、政策的制定;(6)全国环保产业信息系统,提供处理水、气、声、渣的技术资料和管理经验。
网格在资源环境领域的另一个重要作用是对复杂的自然环境系统进行高性能和可视化模拟与预测。比如,华北地下水由于过度开采,已经出现大漏斗现象。通过高性能计算环境对华北地下水系的模拟,不仅对北京2008年奥运,而且对华北地区的国民经济可持续发展,都有直接的意义。
此外,我国环境与资源监测所依赖的长期气候预测、中长期高精度天气预报、海洋环流计算、空气与水污染的模拟分析、洪水和地震等灾害的预报等都需要进行海量数据信息处理与超大规模计算。绝大多数相关单位目前都买不起性能先进的高性能计算机。建立国家高性能计算环境既为其提供了共享的计算平台,又便于这些单位交流信息,促进其技术水平及预报能力的大幅度提高。
科学研究和技术创新的需求 中共中央、国务院《关于加强技术创新发展高科技实现产业化的决定》中明确指出,重大突破性创新要着眼于从基础研究抓起。今天基于高性能计算的科学模拟已和理论分析、试验观察并列为人类认识自然、认识客观世界的三个基本手段。大面积推广高性能计算将极大提高我国科学研究与高技术研究的水平。
高性能计算环境能够帮助解决的例子包括:理解基因功能、新型药物设计、灾害性天气预报、卫星遥感数据和地震资料处理、新材料设计、引擎中燃料燃烧过程的模拟、基本粒子性质研究、污染物和地下水在地层中的流动模拟、飞行器和高速列车外形的空气动力学设计、汽车碰撞过程的模拟,等等。中国科学院已经提出的“网络化高性能虚拟实验室”、“高能物理数据网格”、“虚拟天文台”,都需要网格技术。
网格可以大大提高科研资源的使用率。科研资源包括贵重设备和仪器(加速器、大型望远镜、计算机、药物筛选中心等)、资料(实验或观测数据、论文书籍、技术信息、文献中心等)、数据库和信息库、专家、软件等。我国很多科研领域的资源由于没有上网、交流不够和使用困难等原因,用户少,使用率低,科研成果被其它科研人员或企业利用的比率尤其低。
我国目前的生物信息学数据库只在北大、中科院等少数单位才有,主要是镜象国外的数据,自己产生的数据很少。由于计算机系统规模的限制,能同时支持的用户数也少。生物信息学网格建成后,可以支持全国近十万名生命科学领域的用户。北京天文台目前的2米望远镜必须让用户到北京使用,每年只能支持几十个课题,涵盖数百个天体。中科院创新工程建立了国家天文中心,将建造4米LAMOST望远镜,上网格后能支持全国上千个课题,研究1000万个天体。
国防需求 信息时代的网络安全至关重要,网络攻防的研究、密码研究、尖端武器的研制、撒手锏武器的模拟、大规模军事仿真、C4SI都要依靠高性能计算机;高性能服务器将大大增强网络的抗拥塞与抵御恶意攻击的能力。今天高性能计算对国家安全的重要性丝毫不亚于60年代的两弹一星。
三、 主题发展战略
我国计算机产业过去十年来的高速成长,主要原因是市场需求的快速增长,我国计算机企业的技术积累、人才状况和技术创新能力与国外公司相比还有很大差距。总体上看,我国计算机企业主要还是采用跟踪国外公司已经推出的产品的做法,自己发明的产品很少,也很少参与国际技术标准的制定。
我国长期以来采用进口替代策略,往往是国内市场上有什么进口高技术产品,863就立项研制一个同类产品。等两三年后我们研制出来,外国公司的产品早已升级换代,这种亦步亦趋的追赶策略很难缩小与国外的差距。十五863一定要有前瞻性,计算机主题要瞄准3-5年后可能成为市场主流的技术与新产品,集中精力攻克尚未(正在)形成工业标准的高技术。
Internet网从Web应用转向网格应用,各大公司正在重新“洗牌”,技术的换代与转折给我们提供了迎头赶上的大好机会。计算机主题应抓住这一机会,重点突破与网格计算有关的关键技术,包括面向网格的超级服务器、网格操作系统、网格应用环境等。我国的网格研究应以信息服务网格为重点,以解决信息资源共享和互操作为突破口,在实现点播服务(service on demand)和及时集成(just in time)方面作出特色,争取在形成信息网格国际标准中发挥重要作用。
国外不少人士预测信息技术下一波大浪潮将在2004—2005年出现,这一浪潮的本质特征是万维网(Web)升级为网格。网格是一种新技术,不同群体用不同术语称呼它,网格的含义也在不断变化。最“正统”的网格研究开始于十年前的美国政府支持的高性能计算机项目,主要针对科学计算(称为Metacomputing),后来发展到企业界,采用Semantic Web、e-service、P2P等各种术语。我们不必争论什么是网格、什么不是网格,而应集中精力解决其关键技术。网格的本质不是规模大小而是资源(包括计算、存储、数据、信息、知识、专家)共享,即把整个因特网整合成一台巨大的超级计算机。我们要解决的关键问题是:如果整个因特网是一台计算机,那么什么是处理器、存储器和外部设备,它应采用何种体系结构?什么是这台计算机的操作系统?如何管理它的资源?什么是网格的编程环境和用户界面?什么是网格的应用等等。我们在这些问题上有所突破,我国的计算机技术将进入国际前沿。
我国长期以来重产品轻应用,各行各业(除大银行与国家气象部门、少数油田外)计算机应用大多停留在微机产品,重要工业和服务部门的大型应用软件几乎全部进口。有关部门在强调发展软件产业时一般也是讲Linux操作系统等核心软件,很少提及行业应用软件。其实,国际上整个软件产业微软公司的产品只占一小部分,大量的软件是行业应用软件。IBM公司的软件营业额大大超过微软。对于机械制造、石油勘探与开采、生物制药等许多行业,其技术水平的高低主要体现在行业应用软件上。我国提出以信息化带动工业化,其主要工作不是办公自动化或CIMS系统,而是开发与应用真正代表先进生产力的行业应用软件。我国科研与经济两张皮也集中体现在行业应用软件开发上。国家各种科技计划几乎都不投入大型行业应用软件开发,而各部门技术力量有限,往往是低水平重复。十五863一定要扭转这一局面,由863计划牵头组织,真正实现产学研结合,在若干行业(如生物信息、工业制造、石油等部门)建立高性能计算中心(国家网格节点)以高性能计算机为基础,结合我国国情、开发了几种有明显经济效益(每个大型行业应用软件的经济效益应在几十亿元以上,甚至几百亿元)的行业共性应用软件,通过行业的高性能计算中心大幅度地提升行业技术水平。863把这件事做好了,对国民经济的推动作用将永载史册。
目前计算机系统已进入以I/O为中心的时代,多数用户只需要读取网络中存储的数据信息而不需要对它加工。因此直接上网的存储系统已成为市场上热点产品。据统计许多单位在实施信息化建设中用于存储设备的支出已超过服务器本身。因此十五863期间,计算机主题应重点研制网络存储系统,为计算机产业提供新的技术源泉。
我国计算机产业目前的主流产品仍然是PC机。进入WTO以后,我国将成为世界上最大的IT制造业基地。如何为IT制造业提供有巨大市场前景的新产品是863计划计算机主题必须考虑的问题。今年我国PC产品的营业收入很可能首次滑落到计算机行业总收入的50%以下,PC机的利润率已低于传统产品,但我国许多行业,特别是中小学信息化和西部地区信息化大量采用PC机仍支付不起。成本高已成为阻碍信息化的重要障碍。即使是广东这样富裕的省份也在强烈呼吁用低成本的网络终端(NC)代替PC机。NC推出以来在国外并不很成功,但在中国对成本特别看重,NC不仅硬件比PC便宜,而且由于不装软件(软件只装在服务器上),节省大量软件投入。预计今后两三年内,NC的推广将在中国形成高潮。863应当推动NC及各种新颖的网络产品,为中国信息化探索一条有特色的道路。在技术创新上主要不是以高性能而是以低成本为突破口,只要NC的价格控制在2000元(最好1500)以下,NC在我国信息化建设中,特别是中小学信息化中一定会扮演重要的角色。
近两年来,我国各政府部门强调发展计算机核心技术,特别是CPU和操作系统,这是具有战略意义的决策,对解决我国信息安全问题和形成具有知识产权的信息产业具有关键意义,国家应坚持这一方针不动摇,数年之后必见成效。十五期间我们的CPU主要不是与Intel拼速度与集成度,而是要强调掌握核心技术,形成设计生产能力,在市场上占有一席之地。近几年内研制通用CPU的主要目的一是提供安全服务器的CPU芯片,二是形成SOC的CPU核。后者将有更广阔的市场。我们在强调发展核心技术的时候不要走极端,忽略了系统层面和应用上的技术创新。实际上我国计算机领域最落后的是应用,最迫切需要解决的技术也是应用。启动应用需求、创新性地发展系统设计技术和应用方案应是863计划的重点之一。以大的应用系统带动技术发展是符合国情的发展之道,即使是研制CPU和操作系统也要针对具体应用。2008年北京奥运会是计算机高技术的用武之地,863计划应以奥运会信息系统为目标,组织各方面力量攻关,以奥运网格为龙头,带动服务器、网络、系统软件与应用软件、中文信息平台以及图像识别机器翻译等智能技术发展。如果863为奥运会作出了实实在在的贡献,全国人民都会为863唱赞歌。
四、主题战略目标,主要研究内容和关键技术
通过十五863计划计算机主题与有关专项的努力,我国高性能计算机与超级服务器的设计与生产能力将达到当时国际先进水平,在科学研工程计算与信息服务领域占有一半以上的国内市场。五年后我国在高性能计算机及超级服务器的软件、网格软件和应用网格方面将达到国际领先水平,我国基础研究和若干重要行业的高性能计算机应用将达到当时的国际先进水平。
计算机主题与相关专项的主要研究内容包括以下四项:
1.高性能计算机及大型行业应用软件
高性能计算的能力和水平是国家综合国力的重要标志,也是国家创新体系的重要组成部分,因而成为世界各国特别是发达国家争夺的战略制高点。发展高性能计算,不但可以带动计算技术本身向更高水平发展,而且可以解决国民经济和产业发展、社会和科学进步、国家安全等方面的一系列挑战性问题。虽然我国已研制成功了多台千亿次规模的高性能计算机,但在高性能计算机的总数量、实际性能和应用推广方面与发达国家相比还有很大的差距,具体表现在应用水平低、人才缺乏、资源分散、产业基础弱等多个方面,难以满足我国科研、产业、国防等部门提出的对高性能计算越来越高的需求。
我国经济与国防建设已遇到许多重大挑战问题,包括:飞机、汽车、船舶为代表的大型制造企业所需要的“网络化虚拟制造”,银行界的“业务集中”和动态海量数据分析,石油工业所需要的“大规模精细油藏模拟和分析”,生物技术领域的动植物基因测序和蛋白质分析,北京市2008年奥运会的高性能计算和大型信息服务系统,电子政务中的“资源共享”与“协同工作”,教育领域中的“基于高性能符号计算的网络化智能教育平台”,科学研究领域的“网络化高性能虚拟实验室”、“高能物理数据网格”、“虚拟天文台”,国防领域中的大规模战场仿真、密码研究、武器模拟,等等。这些重大挑战问题只有发展高性能计算和网格技术才能解决。
此项目的总体目标是:
(1)研制以具有每秒万亿次至十万亿次运算能力、安全可靠、面向新一代因特网的高性能计算机(超级服务器)。
(2)支持一批国防建设和国家经济建设的重要应用,开发生物、资源、环保、科研、能源、气象、教育、社区、先进制造业和综合应用等领域的高性能计算应用软件,将高性能计算作用于社会的方方面面。
高性能计算机及应用的关键技术:
拟突破的关键技术包括:
(1)计算机系统的体系结构技术,为了满足用超级服务器实现以服务器聚集为代表的新的应用模式的要求,服务器体系结构必须在实现单一系统映象的同时,支持动态分区、动态重构等特点。为了实现面向网格的、具有强大计算和I/O能力的高性能计算机(超级服务器)的设计,需要解决一系列技术难关,如高速互连系统,包括基于交叉开关的可扩展互连网络和路由芯片、支持VIA接口标准的高速64位网络接口卡、高效率的互连协议等;
(2)超级服务器操作系统,包括支持远程内存访问(RMA)的高效底层通信库、实用的分布式文件系统和并行文件系统、灵活的任务和作业调度及负载平衡策略等,实现单一系统映象,支持整个系统的易管理性、高可用性和高效率;对信息网格的支持,为信息网格提供屏蔽异构性及资源、用户和作业管理方面的支撑等。
(3)超级服务器使用环境与应用开发环境,包括在服务器端设计便于用户使用的基于WEB的“傻瓜”界面,在客户端开发方便、高效的远程使用环境,并行编程环境、调试工具和可视化行为分析工具、高效率的数学软件库、WEB和数据库应用中间件等。
(4)超级服务器安全技术,包括安全认证、强制访问控制等功能,达到B1级的安全性;
(5)行业应用需求分析和大型行业应用软件开发技术
(6)大型软件测试和软件可靠性技术
2.信息网格(Information Grid)
此项目的总体目标是:
拟完成的国家高性能计算环境将面向全国的企业、高等院校、科研机构、政府部门,提供每秒15万亿次(15TOPS)的共享计算能力和100万亿字节(100TB)以上的海量共享数据存储能力;部分系统的处理器芯片、计算机硬件、系统软件将采用我国具有产权或能自主控制的产品;一批工业、服务业、科学研究、资源环境、国防领域的重大应用投入运行;培养5000名技术人才、500名高级人才;产生数项国际标准、200项发明专利、2000篇高质量论文。从而将高性能计算服务送到科研、企业、政府等各方面用户的桌面上,大幅度地提高我国的综合国力和国际竞争能力。具体研究任务包括:
(1)在2005年前建立聚合计算能力15万亿次,在全国范围内对各行业和社会大众提供各种一体化计算和信息服务的信息技术基础设施,即国家高性能计算环境(亦称网格)。
(2)培养一大批掌握高性能计算与网格由于应用技术的高级人才,为国家信息化输送生力军。
信息网格的关键技术:
拟突破的关键技术包括:网格的体系结构、网格应用研究、网格服务方式、网格使用模式及开发环境、网格安全模式及网格运行管理模式等。
(1)网格计算的资源组织和管理
由于网格系统各结点的分布特性、异构特性、自治特性及动态特性,使得网格计算的资源组织和管理变得非常困难和复杂,很好如何有效地组织与利用网格系统资源将极具挑战性。因此,必须研究开发高效实用的网格系统软件,以确保网格系统的可用性与可靠性。网络计算的资源组织和管理的关键技术包括:网格不同种类型的网上异构资源的信息模型、表示方法和存储机制,有效的资源组织管理模式和结构,以及相应的资源分配/调度和优化算法与软件系统等。
网格系统由大量功能、规模各异的局部自治的网格结点组成,各个结点之间需要协同工作,联合成为能够发挥综合效能的大系统,以共同完成一些大型应用问题。必须研究网格系统的资源共享与协同机制,以确保资源的高效利用及与结点之间有效的协同工作
(2)适用于网格计算的通信系统
网格提供的高性能计算系统是广域网上异构、动态的分布式计算系统。适用于网格计算的通信模型必须克服系统的平台异构和、动态特性、延迟和带宽变化带来的影响,必须具有在广域网上高效的通信能力。本项目必须提供高效的网格的高效通信系统,必须适用于广域网上不同情况下的消息传递,解决广域网上网格结点之间的高效通信问题,提高系统的通信效率。
(3)网格的统一编程接口与访问方法
网格高性能计算系统需要方便有效的编程模型和工具,必须研究网格计算系统跨网格结点的编程模式,为用户提供一套有效的网格编程模式和标准的用户编程接口,屏蔽网格资源变化对编程的影响,使而用户在编程时不必关心资源的动态变化。
为了使用户有效地使用国家高性能计算环境,必须研究网格系统的服务的访问方法,针对各种异构资源,提供一个集成的环境,使用户在整个环境网格的任意一个节结点上都能够对资源进行透明访问,并能透明地完成并行计算程序的编码、编译、运行操作,实现方便的远程异构计算,同时能够对计算过程和运行结果进行实时监测。
(4)网格系统的安全机制
安全性是网格系统不能回避的关键问题。它包括客户端与服务端的通信安全性、服务端的安全可访问性以及信息传输的安全性能等方面。网格系统的安全策略意味着对系统资源应该按照所有者的意愿进行保护,而对使用户方的代码、算法、数据应免受窃取安全威胁,同时确保程序信息的通信安全。本安全机制应在传统的依赖于用户身份验证的安全机制的基础上,研究面向资源且可定制安全机制,从而降低安全机制的开销,有效地保护资源。
(5)网格的标准化工作
3.网络存储服务器
以网络存储为核心的服务器是一个特殊的网络服务器系统。它的设计目标是支持更迅捷的数据访问和有效的数据管理。与传统的存储方式不同,网络存储设备是直接连接在网络上而被访问的。所有的服务器和存储设备都通过交换网络来连接。
此项目的总体目标是:
研制以网络存储为核心的服务器系统,包括基于网络的智能化磁盘设备以及与磁盘完全分离的服务器系统和存储系统软件。存储系统中应可使用的大容量磁盘。每个磁盘容量可高达36GB以上;存储系统必须支持高达75MB/s的数据吞吐率,存储系统的硬软件必须能够很快的处理I/O请求,达到每秒350次典型读写操作的指标;支持大量150个以上应用服务器和4 TB以上的大容量存储空间;存储系统提供近于线性增长的聚合I/O速率;支持多媒体码流格式的解压和播放
网络存储服务器的关键技术:
(1)可扩展的存储服务器系统结构。随着网络带宽的增加,该系统结构必须能能够支持更大的存储容量和更多的存储请求。
(2)数据的一体化管理。必须将数据的访问及其监控、复制和备份等等都通过自动或半自动的方式连接起来。
(3)系统动态处理支持。系统监控数据访问情况,并根据监控结果决定动态动作。对于任何一种情况,系统都需对相关请求进行动态调整,以使系统性能最优。
(4)多种属性文件的支持。在网络环境中,一个系统中会存在着许多不同种的文件,text,html,gif,jpeg,au,mp3,avi,wav,mpeg等。这些文件的大小和访问方式都是不同的。如何在同一系统中有效的支持这些不同属性的文件是需要研究的新技术。
(5)智能化网络磁盘系统。智能化网络磁盘是新型的存储设备。这种设备的研究对于设备接口标准化和制定相应的工业标准都有着重要的意义。
(6)网络数据安全。网络存储的一个重要问题就是数据安全问题。当我们把数据放在网络上,任何人都可以对数据进行读取。这就造成了很大的安全隐患。为了解决这个问题,必须在智能磁盘系统上完成用户认证。只有当完成用户认证之后,智能磁盘系统才响应用户的请求。
4.低成本网络终端设备
(计算机主题已责成刘鹏在写相关内容)