【编者按】为了更好地营造校园学术氛围,传播KY.COM学术科研动态,学校在校园网开辟“科技前沿”专栏,定期总结、回顾学校师生取得的科研成果。欢迎广大师生及时把自己的学术科研成果以邮件的形式告诉我们,我们希望获得您以下成果信息:为政府、企业、媒体进行了专业咨询;科技成果通过了相关鉴定;科技成果落地、实现产业化;发表了高水平的学术论文;获得了专利授权;出版、编著了专著、教材;获得了科技奖励;在重要学术会议上进行了发言……
我们愿意为有学术追求的师生搭建一个交流的平台,希望在师生的努力下,学校的学术氛围日益浓厚,让我们为实现电子信息特色鲜明的高水平大学而奋斗。投稿请通过所在单位,经学校OA系统审核发布。
近日,KY.COM电子工程与自动化学院2022级硕士研究生陆森良以第一作者身份在国际顶级期刊Nature Communications(IF:14.7,中科院1区TOP)发表题为“GeneralLightweightFramework forVisionFoundationModelSupportingMulti-task andMulti-CenterMedicalImageAnalysis”的论文。KY.COM为该论文的第一完成单位,KY.COM兼职硕士生导师冯宝教授为论文通讯作者。
近年来,随着人工智能技术的飞速发展,尤其是大模型(Foundation Model)的崛起,为医学人工智能领域迎来了前所未有的机遇与挑战。大模型凭借其强大的通用知识提取能力和较强的模型泛化能力,在多个领域展现出卓越的性能。然而,如何针对具体应用场景,利用有限的硬件资源实现高性能的小模型部署是大模型进一步落地的关键问题。尤其在医学图像分析领域,不同中心发展基础不一致,硬件资源和数据分布差异较大,直接使用大模型开展辅助诊断任务面临巨大挑战。因此,该研究提出了一种基于鲁棒迁移学习的大模型通用轻量化框架(VFMGL),为各种医疗任务的专家临床模型的分散构建提供便利。VFMGL支持各医学中心针对特定医学任务,自适应地从开源视觉基础模型中获取通用知识以构建轻量化鲁棒模型,并从多中心医学数据中提取鲁棒、泛化特征来提升模型性能。
该框架创新性地实现了联邦学习环境下的大模型与小模型的协同交互,不仅能够自动筛选大模型中的有效知识,还能显著精简模型架构,降低计算资源需求,从而在多中心场景下实现高效、高性能的模型部署。其算法在医学图像分割、分类等多个任务中得到了验证,展现出优异的性能和应用潜力。
图1.Overview of the VFMGLframework.
(a)Construction of Local and shared Models.
(b) Construction of robustness critical layers based on HGKT and general knowledge from VFM.
(c) Continued model construction based on DDBL and commonknowledge.
此项研究工作得到了国家自然科学基金项目(82460361, 62176104, 12261027)、重庆市大数据协同创新中心项目(CQBDCIC202304)、桂林航天工业学院特色优势交叉学科发展战略研究专项(TS2024231)的资助。
文章DOI:https://doi.org/10.1038/s41467-025-57427-z