使用 AWS ParallelCluster 最多可提前 15 小时实现 10 分钟的预测间隔
Weathernews Inc. 是世界上最大的私营气象公司之一，也是全球天气预报的领导者。Weathernews 使用 AWS ParallelCluster 管理其计算资源，以产生前所未有的高分辨率预报，拥有 10 分钟的预报间隔，最多可提前 15 小时。云端HPC环境可以灵活采购大量计算资源，打造灵活应对负载波动的环境。通过使用 Amazon Web Services (AWS) Weathernews 实现了 90% 以上的预测准确度。
“使用 AWS，我们能够提前 15 小时以 10 分钟的预报间隔预报雨云。AWS 是一个平台，允许工程师自由发挥自己的想法并创建新服务。” – Tomohiro Ishibashi，Weathernews Inc.，董事总经理，执行官
实现气象学家梦想的新一步——更长期、更准确的预测
Weathernews 成立于 1986 年，是全球最大的私营气象公司之一，在全球主要城市设有销售和运营基地，服务于全球约 50 个国家。该公司的服务范围从航运和航空天气到铁路、公路和零售商天气。它还以其“天气新闻”移动应用程序而闻名。
大多数情况下，气象行业从政府机构获取基础信息。自成立以来，Weathernews 已经建立了自己的观测、通信网络、图像处理和分发基础设施。2005 年，该公司开发了原始天气分子 (OWN) 作为自己的天气预报模型。为了处理数据，它构建了一个内部部署的高性能计算 (HPC) 系统，该系统通过增加服务器数量不断增强。这使他们能够以一小时为间隔进行预测，最多可提前三天。此外，将人工智能 (AI) 技术应用于从应用程序用户收到的雷达和天气报告，可以提前 10 分钟进行预测，最多可提前 3 小时，每隔 1 小时可提前 15 小时进行预报。
“然而，有人指出，每隔一小时，‘雨云突然变得模糊不清，难以辨认’。近年来，雷暴或局部倾盆大雨等快速天气变化有所增加。这对应于对更长时期高分辨率预测的需求增加。此外，能够对未来进行详细的天气预报一直是我们气象学家的梦想。” Weathernews 董事总经理兼执行官 Tomohiro Ishibashi 说。
该公司随后开始寻找一种能够以 10 分钟为间隔进行预测的服务，最多可提前 15 小时。其目的是将之前的预测间隔从每六小时（一天四次）提高到每三小时（一天八次）。
采用 AWS ParallelCluster 灵活保护大量计算资源
主要挑战是采购预测所需的大量计算资源。预测中心开发团队负责人 Kohei Sakamoto 表示，“像我们之前所做的那样，添加本地资源需要大量投资”，并且随着服务器数量的增加，对故障和更高的运营负担的担忧也在增加。此外，6 月至 10 月在日本经历更频繁的台风和雷暴或局部倾盆大雨，因此比其他季节需要更多的计算资源。Weathernews 很难使用其本地环境以灵活的方式响应此类负载波动。
2018 年，Weathernews 开始探索使用 AWS ParallelCluster 的下一代 OWN 云实施。经过彻底验证后，于 2020 年 4 月决定采用 AWS ParallelCluster。“通过执行实际模型计算，我们使用 AWS ParallelCluster 实例数量、Elastic Fabric Adapter (EFA) 的有效性以及处理速度取决于实例类型，”预测中心开发团队的 Kazunari Takahashi 说。最初，在云 HPC 中使用 MPI（消息传递接口）时存在一些可扩展性问题，但实际测量显示速度提高了 5,000 个 vCPU。利用 EFA，一种低延迟网络适配器，适用于需要高带宽节点间通信的工作负载，例如基于 MPI 的工作负载，
为确保可靠性，该公司正在两个独立的 AWS 区域中构建一个主系统和一个子系统。处理通常会在北弗吉尼亚地区的主系统上进行，但如果发生故障，它将返回到东京地区的子系统进行再处理。此外，主系统环境使用 Amazon EC2 Spot 实例。Amazon EC2 Spot 实例是可用的备用计算容量，比按需实例定价最多可享受 90% 的折扣。该公司与 AWS 解决方案架构师合作配置系统以满足下一代系统的可用性、成本和性能要求。
