ONNXPruner：基于ONNX的通用模型剪枝适配器（TPAMI 2025）
深度模型、大模型等因其庞大的参数量和计算量限制了其在资源受限设备的应用。针对此问题，菠菜担保论坛大全菠菜担保平台李文斌老师团队率先提出面向后端设备的跨模型、跨平台通用模型剪枝适配器 ONNXPruner，搭建了模型剪枝在后端设备快速应用的桥梁。ONNXPruner创新采用节点关联树技术，自动适配各类模型架构，清晰呈现节点结构关系以指导剪枝，同时引入树级评估方法，突破单节点评估局限，在无需额外操作下提升剪枝性能。在超过10种深度模型、大模型和4种开发平台上进行实验验证，ONNXPruner展现出强大适应性和有效性，成功解决深度模型剪枝周期长、技术难度大的问题，提升模型剪枝技术在实际工程任务中的可用性。相关成果已被人工智能领域顶级期刊IEEE TPAMI 2025接收。
论文链接：https://ieeexplore.ieee.org/document/10938408
DOI: 10.1109/TPAMI.2025.3554560
图：ONNXPruner框架示意图
基于频域信息的图像去噪模型剪枝（TIP 2025）
模型剪枝作为一种常见的模型压缩技术，被广泛用于降低深度模型的存储和计算成本。然而，目前的大多数模型剪枝方法都是为高级视觉任务所设计，很少研究针对计算密集的图像去噪网络，且现有方法不适用于剪枝图像去噪网络。针对此问题，菠菜担保论坛大全菠菜担保平台李文斌老师团队提出了一种新的滤波器评估方法，称为高频分量剪枝（HFCP），专用于图像去噪网络剪枝。HFCP 根据高频分量评估滤波器的重要性，既滤波器越高通或产生的特征图高频能量越多，则在模型中越重要。该工作是第一种专为图像去噪网络设计的剪枝方法，适用于多种类型的噪声。并且该方法剪枝后的模型增加了网络中高频信息的比例，有助于分离高频信号与噪声。实验结果表明，在剪枝50%参数量、计算量降低约65%的情况下，相比现有方法，在四种去噪模型上均实现了最优性能。相关成果已被图像处理领域顶级期刊IEEE TIP 2025接收。
论文链接：https://ieeexplore.ieee.org/document/10908464
DOI: 10.1109/TIP.2025.3544108
图：高频分量剪枝HFCP方法框架示意图
基于无需训练双层模态校准策略的小样本类增量学习（CVPR 2025）
小样本类增量学习是一种让模型在仅有极少量样本的情况下，学习新类别的任务。与传统的增量学习相比，在增量阶段，样本非常稀缺，带来额外的过拟合问题。现有的持续小样本方法大多依赖于视觉模型，并且需要在基础任务或增量任务阶段进行额外的训练，导致计算资源消耗较大，而且会额外引发灾难性遗忘问题。为了解决上述问题，菠菜担保论坛大全菠菜担保平台李文斌老师团队提出了一种无需训练的模型适应框架，基于CLIP模型，设计模态间校准和模态内校准策略。在模态内校准阶段，利用大语言模型生成的细粒度类别描述，结合基础任务中的视觉原型，以增强模型在文本和视觉模态下的分类能力。模态间校准将预训练的语言知识与任务特定的视觉先验信息相结合，从而减少模态特异性偏差，提升分类的准确性。为了进一步增强模型的鲁棒性，引入各向异性协方差度量和跨模态类别条件的最近邻度量，并通过掩码集成推理策略来实现最终的分类。该工作已被计算机视觉领域顶级会议CVPR 2025接收。
论文链接：https://cvpr.thecvf.com/virtual/2025/poster/33478
图：所提小样本类增量学习方法框架示意图
基于样本间和特征间关系的数据集蒸馏方法（CVPR 2024）
随着深度学习的发展，数据规模的扩大给模型训练带来了极大的计算代价。为改善这一问题，研究人员提出数据集蒸馏方法，将知识从大型真实数据集提炼到较小的合成数据集。目前数据集蒸馏已成为高效深度学习训练的关键技术。它也被广泛应用于神经架构搜索、持续学习和隐私保护等领域。菠菜担保平台李文斌老师团队提出了一种基于样本间和特征间关系的数据集蒸馏方法。基于分布匹配的数据集蒸馏方法存在两个局限性：(1)合成数据集中同一类内的特征分布分散，缺少类别区分度；(2)仅关注平均特征一致性，缺乏精度和全面性。针对上述局限性，提出了两个即插即用约束：(1)类中心化约束，用以促进特定类样本的聚类，增强类别区分度。(2)局部协方差矩阵匹配约束，用以在样本量较小的情况下，也可以通过局部特征协方差矩阵在真实数据集和合成数据集之间实现更精确的特征分布匹配。相关工作发表在计算机视觉领域顶级会议CVPR 2024。
图：所提数据集蒸馏方法框架示意图
