编号：SBJS01043
篇名：多层次知识自蒸馏联合多步骤训练的细粒度图像识别
作者：余鹰 危伟 汤洪 钱进
关键词： 细粒度图像识别 知识自蒸馏 Swin Transformer 特征学习 鲁棒特征
机构： 华东交通大学软件学院
摘要： 细粒度图像识别具有类内差异大、类间差异小的特点,在智能零售、生物多样性检测和智慧交通等领域中有着广阔的应用场景.提取到判别性强的多粒度特征是提升细粒度图像识别精度的关键,而已有工作大多只在单一层次进行知识获取,忽略了多层次信息交互对于提取鲁棒性特征的有效性.另外一些工作通过引入注意力机制来找到局部判别区域,但这不可避免地增加了网络复杂度.为了解决这些问题,提出了多层次知识自蒸馏联合多步骤训练的细粒度图像识别(multi-level knowledge self-distillation with multi-step training for fine-grained image recognition, MKSMT)模型.该模型首先在网络浅层进行特征学习,然后在深层网络再次进行特征学习,并利用知识自蒸馏将深层网络知识迁移至浅层网络中,优化后的浅层网络又能帮助深层网络提取到更鲁棒的特征,进而提高整个模型的性能.实验结果表明,MKSMT在CUB-200-2011、 NA-Birds和Stanford Dogs这3个公开细粒度图像数据集上分别达到了92.8%、 92.6%和91.1%的分类准确度,性能优于当前大部分细粒度识别算法.
