具有深度学习技术的HPC集群将被用于处理PB级的科学数据,这是从天体物理学到基因组学的大量工作量项目的一部分。
AI合作伙伴英特尔和联想表示,他们将为纽约Flatiron研究所提供运行在英特尔第二代Xeon可扩展处理器上的高端服务器,以及该芯片制造商的深度学习框架 DL Boost。英特尔宣称其最新一代的至强处理器是唯一内置了AI和HPC加速功能的CPU。
HPC基础结构用于在频谱的一端处理巨大的基因组序列数据文件,在另一目录的一个目录中处理100,000个小文件。
D2机箱中安装了四台ThinkSystem SD530服务器(图片来源:Lenovo)
Flatiron的运行AI和其他高端工作负载的HPC集群在Lenovo的ThinkSystem SD530服务器中包括17,000个处理器核心。技术合作伙伴本周表示,除了分析大型,多样的数据集外,这种组合还被用于模拟复杂的物理过程。
联想“密集机架”服务器将硬件制造商的运行英特尔白金8268处理器的海王星热传递模块技术与提供DL Boost技术的至强芯片相集成。今年早些时候推出的Xeon 8268是基于英特尔的Cascade Lake架构的24核服务器微处理器。
4月,英特尔发布了高端版本,称为 Cascade Lake-AP (高级性能),该版本结合了其Optane持久内存技术。除具有HPC应用程序外,具有多达56个内核的9200处理器还针对AI和高级分析。
新型HPC功能使Flatiron科学家能够处理PB级数据,从而开辟了新的研究机会。例如,以前,研究人员只能对2%的基因组数据进行测序。现在,他们能够一次对数千个家庭进行测序,从而可以查明异常基因或开发精密药物。
Flatiron配置包括一个HPC群集,其内存是典型HPC配置的五倍。在另一个占用大量内存的示例中,研究人员使用Flatiron HPC集群模拟了黄蜂的视觉系统,该重建需要500 Gb RAM。
纽约市空间狭窄,这意味着必须对HPC集群进行热管理。英特尔联想HPC平台包括一个密集的风冷系统,具有更大的内存容量。
“诸如银河系形成和黑洞形成之类的宇宙学模拟需要成千上万个相互连接的核来运行。熨斗研究所的联合主任伊恩·菲斯克(Ian Fisk)说,科学应该主导研究人员的时间,而不是计算。“我们的目标是研究的限制因素应该是基于碳的系统,而不是基于硅的系统。”
8月,英特尔和联想宣布了一项多年承诺,以加速AI和HPC融合进入百亿亿次时代。该合作伙伴关系专注于三个关键领域:系统和解决方案,针对HPC和AI融合的软件优化以及生态系统支持。