在超大规模 AI 模型的训练中，结合多种并行维度的分布式训练是提高模型训练性能的必要手段。而自动搜索最优的多维度混合并行策略是实现AI模型高效训练的难题，现有方法未能同时兼顾质量和效率。 针对这个问题，电子科技大学的研究团队提出了基于昇思MindSpore实现的并行策略自动搜索算法与原型系统。今天由电子科技大学的博士研究生欧杰为大家讲解“多维度混合并行自动搜索优化策略——APSS算法应用”</ …
在超大规模 AI 模型的训练中，结合多种并行维度的分布式训练是提高模型训练性能的必要手段。而自动搜索最优的多维度混合并行策略是实现AI模型高效训练的难题，现有方法未能同时兼顾质量和效率。 针对这个问题，电子科技大学的研究团队提出了基于昇思MindSpore实现的并行策略自动搜索算法与原型系统。今天由电子科技大学的博士研究生欧杰为大家讲解“多维度混合并行自动搜索优化策略——APSS算法应用”</ …