机器之心发布
机器之心编辑部
一、效率提升
大幅提升动态图下分布式训练的效率
在深度学习中，当数据集和参数量的规模越来越大，训练所需的时间和硬件资源会随之增加，最后会变成制约训练的瓶颈。分布式并行训练，可以降低对内存、计算性能等硬件的需求，是进行训练的重要优化手段。当前MindSpore动态图模式已经支持数据并行，通过对数据按batch维度进行切分，将数据分配到各个计算单元中进行模型训练，从而缩短训练时间。
基于ResNet50v1.5+ImageNet数据集测试，在昇腾计算硬件平台，MindSpore动态图模式分布式的表现，可以达到PyTorch典型分布式场景的1.6倍，静态图模式分布式的表现也可以达到TensorFlow典型分布式场景的2倍。
PyNative快速入门：