存储市场爆发, HPC与AI成关键引擎

目前，存储需求增长强劲，这在很大程度上得益于大数据和人工智能的蓬勃发展。在高性能计算 (HPC) 领域，我们可以从Hyperion Research获得不错的数据。该公司定期进行全球高性能计算 (HPC) 站点调查，以更好地了解全球一些大型高性能计算 (HPC) 站点在计算、存储和网络方面的投资情况。

Hyperion 的 2023 年全球站点调查发现，“附加”存储的总支出达到 63 亿美元，约占 HPC 本地部署总支出的 21%。存储是增长最快的元素，Hyperion 预测，到 2028 年，其在 HPC 整体市场中的份额将增长到 22.4% 以上。

据《财富商业洞察》报道，全球整体数据存储市场（不仅包括人工智能和高性能计算，还包括企业IT）去年的支出高达2180亿美元，预计今年将增长至2550亿美元。到2032年，预计该市场将增长至7740亿美元，复合年增长率为17.2%。这些数据表明，高性能计算和人工智能领域的存储增长速度快于整体企业IT市场。

从硬件角度来看，大部分支出都集中在采用 NVMe 技术的固态硬盘上，这种技术比旋转磁盘具有更高的吞吐量和更低的延迟。据Grand View Research 的数据，2023 年全球固态硬盘市场规模估计为 191 亿美元，预计到 2034 年将达到约 3313.7 亿美元，复合年增长率为 17.6%。全球有数十家固态硬盘制造商，但生产固态硬盘核心 NVMe 闪存介质的公司却很少。

我们看到，一些容量高达 122 TB 的大容量 SSD 正在陆续上市，有些甚至达到了 128 TB，这正在对市场产生影响。然而，这些海量 SSD 的价格却高达五位数。相比 SSD，机械硬盘的每 GB 成本仍然低约四到五倍，这有助于维持 HDD 市场，尤其是在用于 AI 训练工作负载的近线存储领域。事实上，根据TrendForce最近的一份报告，这种由 AI 驱动的需求给 HDD 制造商带来了压力，导致大容量近线 HDD 的订购周期延长至 52 周以上。

传统上，HPC 通常只有两到三个存储层，而如今许多 AI 工作负载则有四到五个存储层。AI 和 HPC 项目可能会使用 SSD 作为高性能或“临时”层，并可能使用旋转磁盘作为 AI 流程中其他阶段（例如模型检查点、推理日志）的高容量或近线存储层。速度较慢的磁盘和磁带则用于长期或归档存储。

继2022年末和2023年初价格暴跌之后，我们目前正处于磁盘和内存价格飙升的时期。这种动态是消费领域最初需求低迷的结果，随后订单激增，这在很大程度上是由人工智能的扩张所推动的。行业报告显示，NAND和DRAM价格可能会在未来两年内持续上涨。

西部数据上个月在致客户的一份报告中表示，由于“我们产品组合中所有容量产品的需求空前高涨”，该公司将上调其产品目录中所有硬盘的价格。闪存盘制造商SanDisk（西部数据旗下）近期也宣布，将NAND闪存产品价格上调10%。美光科技宣布冻结其DRAM和NAND产品的价格，并据报道已通知分销商，DRAM产品价格预计将上涨20%至30%。

近线硬盘 (HDD) 的持续需求促使一些人猜测，更便宜的 QLC SSD 未来可能会取代 HDD。目前看来，这种情况似乎不太可能发生，但这一点值得关注。

根据 Hyperion 2023 年全球站点调查，75% 的 HPC 和 AI 站点从系统供应商而非独立存储供应商处获取本地存储。戴尔科技是 HPC 和 AI 站点最常用的本地存储提供商，市场份额为 22.3%，其次是IBM（19.1%）、联想（8.5%）、富士通（5.3%）和HPE Cray（5.3%）。在独立存储供应商中，NetApp以 8.5% 的市场份额领先，其次是DDN （7.4%）。“其他”类别占据了总市场份额的 23.4%， VDURA、ATOS、华为和浪潮等供应商都获得了选票。

Hyperion 2023 年的调查显示，虽然存储约占本地 HPC 和 AI 安装支出的 21%，但在云端运行 HPC 和 AI 工作负载的客户在存储上的支出却高达其预算的 33%。总计而言，云端 AI 和 HPC 的支出仅为 75 亿美元左右，其中计算实例占据了近 47% 的份额。HPC 和 AI 市场中本地部署部分的规模大约是云端的 5 倍。

有趣的是，根据 Hyperion 的数据，临时存储（即上文提到的快速存储或“临时”层）的支出占 HPC 和 AI 云总支出的 13.8%，仅略低于持久存储的 16.2%。然而，在过去的研究中，持久存储的支出是临时存储的两倍，这表明这类存储的增长速度非常快，也暗示了企业正在运行的 AI 工作负载的类型。

最后，我们来看看存储领域的软件方面。谈到文件系统，主要分为两大阵营：网络附加存储 (NAS) 商店和并行文件系统用户。

根据 Hyperion 2022 年的调查，在 NAS 和横向扩展 NAS 领域，NFS 占据主导地位，占有 66% 的份额，其次是 OneFS，占有 14%，QumuloFS 占有 10%。在并行文件系统领域，Lustre 占据最大份额，占有 41%，其次是 IBM 的 Storage Scale（以前称为 Spectrum Scale 和 GPFS），占有 17%，内部开发的 pFS 占有 14%，WEKA占有 6%，其他占有 14%。有趣的是，61% 的 HPC-AI 厂商表示，他们在云端和本地使用的文件系统不同。

然而，三年来发生了许多变化，因此 Hyperion 的最新数据值得关注。ChatGPT 诞生还不到三年，因此生成式人工智能革命尚未反映在这些数字中。

据我们所知，NAS 供应商和并行文件系统供应商之间仍然存在分歧，出现了一些新面孔和新方法（例如，只销售软件，而不是销售设备）。除了并行文件系统与 NFS 和并行 NFS (pNFS) 的区别之外，由于对象存储带来的不同功能（我们将在本系列的后续文章中详细讨论），支持对象存储的能力也在推动存储采购决策。

例如，Hammerspace正在洽谈一款基于 pNFS 的纯软件存储产品，该产品也支持 S3，并配备联合数据虚拟化功能。VAST Data也采用纯软件方案，提供完整的数据堆栈，支持多种存储协议（NFS、SMB、S3，甚至 Kafka API）。它们都在与 WEKA 展开激烈竞争，WEKA 也开发了一个名为 WekaFS 的横向扩展文件系统，支持 NFS、SMB 和 S3。与此同时，MinIO也凭借其开源、兼容 S3 的对象存储和企业级 AIStor 产品进入了超大规模市场。

这些专业的软件定义存储供应商已经与惠普、戴尔、Supermicro 等系统提供商合作，打造可扩展至 EB 级甚至更高级别的海量存储系统。这些供应商以及 Pure Storage、NetApp 和 DDN 等设备供应商都在竞标为 Meta、谷歌、OpenAI 等 AI 巨头目前正在建设的数千兆瓦 AI 数据中心提供存储。

想要获取半导体产业的前沿洞见、技术速递、趋势解析，关注我们！