在超大规模 AI 模型的训练中，结合多种并行维度的分布式训练是提高模型训练性能的必要手段。而自动搜索最优的多维度混合并行策略是实现AI模型高效训练的难题，现有方法未能同时兼顾质量和效率。 针对这个问题，电子科技大学的研究团队提出了基于昇思MindSpore实现的并行策略自动搜索算法与原型系统。今天由电子科技大学的博士研究生周光耀为大家讲解“多维度混合并行自动搜索优化策略——时间损失模型及改进多维度二分法”<iframe src=“https://www.bilibili.com/blackboard/html5mobileplayer.html?aid=1205481474&high_quality=1&autoplay=0" width=“650” height=“477” scrolling=“no” border=“0” frameborder=“no” framespacing=“0” allowfullscreen=“true” …