中国农业大学信电学院李振波教授课题组在人工智能小样本学习研究取得新进展

近日，信电学院李振波教授课题组在人工智能领域权威期刊 Pattern Recognition 上围绕小样本学习发表论文 PRSN: Prototype Resynthesis Network with Cross-Image Semantic Alignment for Few-Shot Image Classification 和 Cluster Prototype Earth Mover’s Distance Adapters and Alignment-Guided Prompt Learning for Vision-Language Models。

小样本学习旨在解决在数据量较少的情况下进行有效学习和人工智能模型训练的问题，能够降低数据收集成本、适应稀缺数据场景、加速模型迭代、防止过拟合和保护数据隐私等，使人工智能模型能够快速适应新任务，是解决当前缺少大规模标注数据集的智慧农业应用的一种技术方案。

由于样本数量稀缺，人工智能模型通常难以学习到具有良好判别性的特征表示。因此，课题组提出了原型再重构网络（PRSN）。首先，PRSN利用支撑样本和语义相似的基类部分对原型特征进行组合，从而增强原型表示的判别能力。接着，进一步引入查询集对原型特征进行重构，有效减小了类内变化。为了提升模型对同一类别图像在不同分支下表达的一致性，PRSN设计了跨图像语义对齐机制。该机制通过约束不同查询图像在两个分支中的预测结果保持一致，提升了模型的泛化能力。最后，在多个广泛使用的基准数据集上，PRSN取得了最好的分类效果，验证了其在低资源场景中的有效性与适用性。

PRSN架构

视觉-语言模型凭借其强大的跨模态特征对齐能力，在小样本学习任务中得到了广泛应用，有效缓解了数据稀缺对模型性能造成的限制。然而，提示微调方法容易过拟合于类别特定的数据分布，限制了其泛化能力；而大多数适配器方法则忽略了原型表示作为权重的潜在作用，导致对新任务的适应性不足。

为克服上述问题，课题组提出了一种新的方法CPAAP用于视觉语言模型。具体而言，对齐引导的提示学习在可训练模型和冻结模型之间引入预测约束，实现了对下游任务的有效适应。

此外，提出的适配器包含三个关键组件：基于图卷积网络的原型聚类、层次化原型表示以及基于推土机距离的相似度量，提供了一种稳健的特征表示方式。在多个关键任务上，包括小样本分类、基类到新类的泛化、跨数据集评估以及领域泛化，CPAAP均展现出具有竞争力的性能。

CPAAP架构

上述论文的第一完成单位为中国农业大学，我校信电学院李振波教授为论文的通讯作者，共同作者包括信电学院博士研究生董萌萍、美国威斯康星大学麦迪逊分校助理研究员李飞、信电学院副教授刘雪。研究工作得到国家科技创新2030—“新一代人工智能”重大项目课题（2021ZD0113805）的资助。