
5 个月前

一位放射科医生的眼前,三块屏幕正无声地诉说着同一个病人的不同故事。左侧是CT扫描,以无与伦比的清晰度勾勒出骨骼的精密结构;中间是磁共振(MR)影像,细腻地展现着软组织的纹理与病变;右侧则是PET图像,用明暗不一的色块标记出细胞的代谢活性。三束“光”——物理的、磁场的、代谢的——共同照向病灶,却也投下了复杂的阴影。如何将这三种源于不同物理原理、承载着迥异信息的“语言”融合成一句清晰的诊断?这不仅考验着医生的经验,更是一道长期横亘在医学影像分析领域的技术天堑。深度学习虽已成为医生的得力助手,但开发一个能同时精通CT、MR、PET多种语言的“通用翻译官”,因其特征差异巨大,始终是难以企及的圣杯。
近日,一篇发表于《自然·通讯》(Nature Communications)的研究,为这个难题给出了一个优雅而有力的答案。来自北京大学、山东第一医科大学等机构的研究团队,成功研发出一种模态投影通用模型(Modality-Projection Universal Model, MPUM)。它如同一位掌握了“罗塞塔石碑”的语言学家,能够将不同模态的影像信息翻译到一个共享的“潜在语义空间”,再根据需要精准地“投影”回特定模态进行解析。
这个模型基于861名受试者的多模态全身影像数据训练而成,其核心突破在于创新的**“模态投影”**策略。简单来说,模型不再为每种影像类型设计一套独立的分析流程,而是学习一种更为本质、超越具体模态的深层生物学特征表达。当面对CT图像时,它能自动调用与解剖轮廓相关的“知识”;切换到MR图像时,则侧重于软组织对比的“理解”;面对PET图像,又能聚焦于代谢信号的“解读”。
在与当前主流的通用分割模型(如CDUM、STUNet)及优化后的经典3D UNet模型的正面交锋中,MPUM展现了压倒性的优势。例如,在MRI身体分割任务中,其Dice系数(衡量分割精度的关键指标)达到了0.7751,显著超越了其他所有模型和策略,尤其是在血管、肌肉骨骼及腹部小器官等传统难点上,优势更为突出。
一个模型的真正价值,最终要在临床实践中得以检验。颅内出血,是急诊科最危急的场景之一,每一分钟的延误都可能导致不可逆的脑损伤。研究团队将MPUM在专门的颅内出血数据集(Instance2022)上进行微调,把它锻造成了一位识别出血的专家。
结果令人振奋。在临床验证中,三名初级放射科医生在使用MPUM辅助后,诊断准确率从平均约71.4%跃升至90.5%,几乎达到了资深专家的水平。MPUM能够自主识别并精准量化出血区域,例如,它能清晰地标出“左侧岛叶3868立方毫米”和“左侧壳核2241立方毫米”的出血灶,并提供对应的脑区图谱。这有效解决了初级医生常常遇到的出血区域识别不全、混淆相邻脑区等痛点,真正成为了在生命赛道上争分夺秒的“智能助手”。
MPUM的雄心不止于成为一个顶级的图像分割工具,它更希望成为探索疾病深层机制的科学仪器。通过分析50名癫痫患者和22名健康对照者的全身PET/CT数据,MPUM的能力得到了进一步的展现。
它不仅识别出癫痫患者脑内228组代谢关联出现了显著变化,精准定位到癫痫病灶常见区域(如右侧前颞叶外侧部)的代谢异常,更惊人地发现,大脑中的苍白球与T1至T12椎体之间的代谢关联在癫痫患者中发生了显著扰动。这一发现首次从全身系统层面,为“脑-体轴”在癫痫中的作用提供了强有力的影像学证据,暗示癫痫可能不仅仅是大脑局部的“风暴”,而是一场波及全身的系统性代谢紊乱。
同样,在对阿尔茨海默病数据的分析中,MPUM也成功识别出轻度认知障碍与阿尔茨海默病患者脑中颞下回、顶叶皮层等关键区域的代谢关联异常。这种洞察力,为寻找神经退行性疾病的生物标志物、理解其复杂病理机制开辟了全新的道路。
长期以来,人工智能因其决策过程不透明而被诟病为“黑箱”,这在事关生死的医疗领域是不可接受的。MPUM在设计之初就充分考虑了可解释性这一关键问题。

通过引入显著图(saliency map)可视化技术,MPUM能够清晰地展示出其在做决策时“看”的是哪里。分析显示,模型的浅层网络主要关注图像的轮廓和纹理等通用特征,而深层网络则逐步聚焦于具体的感兴趣区域。更有趣的是,三种模态的显著图各有侧重:
这种与人类医生认知高度一致的“思考”过程,极大地增强了临床医生对AI诊断结果的信任度,使人机协作变得更加默契与高效。
MPUM的诞生,不仅仅是一次技术的突破,更标志着一个新范式的开启。它成功地将高精度的解剖结构分割与深度的功能代谢分析融为一体,搭建了一座连接“形态”与“功能”的桥梁。
未来,随着MPUM及类似多模态通用模型在更多临床场景的应用,它们有望深度融入临床AI工作流。放射科医生将不再被海量的、割裂的影像数据所淹没,而是能够在一个统一的平台上,获得从宏观结构到微观代谢的全景式洞察。这不仅将极大地提升诊断的效率与精准度,更将推动我们对癌症、神经退行性疾病、代谢性疾病等复杂系统性疾病的理解,从“器官级”跃升至“全身系统级”。
一个由AI驱动、数据融合、洞察深刻的精准医疗新时代,正以前所未有的速度向我们走来。在这个时代,AI不再是冰冷的算法,而是医生最具智慧与洞察力的“眼睛”,帮助我们更深地理解生命的奥秘。
点击充电,成为大圆镜下一个视频选题!