近日，东北大学机器人科学与工程学院于晓升副教授团队最新研究成果 "SWIFT: Spatial-Window Integrated Frequency-aware Token Pruning for Efficient MLLMs on Edge Devices" 在计算机视觉顶级会议 The 19th European Conference on Computer Vision (ECCV) 上成功接收。东北大学信息科学与工程学院硕士生刘广赉，机器人科学与工程学院博士生陈巨擘分别为论文第一、第二作者，东北大学为第一完成单位，通讯作者为于晓升。

成果介绍：

针对多模态大模型高分辨率视觉token算力开销高、难以落地边缘设备的瓶颈，现有免训练剪枝方法易丢失高频细节、破坏空间结构，引发特征过平滑与幻觉问题。于晓升老师团队提出即插即用的SWIFT token剪枝框架，以频率感知的方法精准保留纹理、边缘等关键高频信息，结合空间窗口集成机制维持空间结构完整性。

图1 SWIFT模型架构图

实验显示，50%压缩比下实现2.10倍推理加速且性能接近无损；75%极端压缩下达成2.66倍加速与69.07%的KV缓存缩减，8项基准平均性能降幅仅5.1%，细粒度任务表现显著优于前沿方法，为端侧多模态模型高效部署提供了新技术路径。

图2 模型性能雷达图

据悉，本届会议共有10,473篇投稿进入评审流程，最终接收2883篇，整体接收率为27.5%。该研究成果为东北大学机器人学院在计算机视觉领域顶级会议ECCV上发表的首篇论文。