在AI运行过程中，主要由五个关键阶段构成，分别是数据采集、数据准备、模型训练、模型部署与推理以及数据归档。AI运行的不同阶段对数据传输和存储读写性能的需求呈现出鲜明差异。从前期数据积累到端侧推理部署的AI应用，对存储提出了多维度的高性能要求。
来源：CFM闪存市场
数据准备
数据准备阶段直接奠定了AI大模型训练的基础。该环节需要从存储器中读取大量数据，如图像、文本、音频等，加载到运行内存进行数据处理转换，如缩放、增强、标准化等，转换为AI模型可处理的格式。此时的I/O工作负载，不仅包括读取原始数据，还包括将数据转换后的中间结果临时存储到内存中，甚至会将需要存储的部分中间数据写入硬盘。因此，这个过程会涉及随机读取和顺序写入操作。
模型构建和训练
数据准备好后进入AI模型训练阶段，该阶段对并行运算效率要求极高。通常多个任务竞相访问同一数据集，并发数据读取访问的操作量大幅增加。在持续数日数周甚至数月不等的训练过程中，训练任务需要定期写入检查点，以便快速实现数据恢复并减少重新训练的可能。因此，存储需要在检查点密集的连续写入期间，也能够维持频繁并发训练所需的读取性能。因此，在AI训练环节，高性能存储的表现至关重要，需要能够持续拓展的高性能存储，如全闪存存储来消除I/O瓶颈，可高速进行多主机的混合读取访问，能够高效地向计算资源提供数据，是消除闲置资源提高AI训练效率的关键。