本示例介绍如何对动态图模型进行重参数化训练,示例以常用的MobileNetV1模型为例,介绍如何对其进行DBB重参数化实验,DBB参考自论文。
在当前目录下创建data文件夹,将ImageNet数据集解压在data文件夹下,解压后data/ILSVRC2012文件夹下应包含以下文件:
'train'文件夹,训练图片'train_list.txt'文件'val'文件夹,验证图片'val_list.txt'文件
- 对于paddle vision支持的模型:
[lenet, mobilenetv1, mobilenetv2, resnet, vgg]可以直接使用vision内置的模型定义和ImageNet预训练权重
-
MobileNetV1
启动命令如下:
# 单卡训练 python train.py --model=mobilenet_v1 # 多卡训练,以0到3号卡为例 python -m paddle.distributed.launch --gpus="0,1,2,3" train.py
| 模型 | FP32模型准确率(Top1) | 重参数化方法 | 重参数化模型准确率(Top1) |
|---|---|---|---|
| MobileNetV1 | 70.99 | DBB | 72.01 |