近日,在2024世界人工智能大会期间,我院联合空军军医大学、清华大学和商汤科技团队共同发布国内首个病理大模型PathOrchestra。该模型基于国内规模最大的数字病理图像数据集训练,可实现全球范围内的临床病理任务赋能,迈出了病理人工智能(AI)从“单模专病”到“一模多病”的关键一步。
中华医学会病理学分会副主任委员、中国医师协会病理医师分会副会长、我院临床病理中心特聘教授王哲(中),清华大学深圳国际研究生院生医健康工程研究院光学检测与成像实验室主任何永红(左),商汤科技副总裁张少霆(右)共同发布国内首个病理大模型PathOrchestra
病理诊断被誉为疾病诊断的“金标准”,但病理专业的发展长期受制于病理医生培养周期长、优质病理诊断资源分布不均等问题。人工智能技术的应用让国内外病理专业迎来了数智化转型浪潮。数字病理图像处理被称为图像处理界“皇冠上的明珠”,但由于数字病理切片分辨率高、涉及病种多,在“大数据+精标注”的传统AI模型训练范式下,想要同时对多种疾病的病理切片进行精准标注并开展训练,几乎是“不可能完成的任务”。
王哲在发布会现场做主题分享
“病理大模型是突破数字病理瓶颈的关键”,发布会上,中华医学会病理学分会副主任委员、中国医师协会病理医师分会副会长、我院临床病理中心特聘教授王哲表示,PathOrchestra病理大模型将视觉模型和大语言模型结合,利用近30万张、近300TB全切片数字病理图像数据开展学习训练,并通过文本、视频等开展多模态训练,实现海量数据的自监督学习,无需大量精标注数据就可以“触类旁通”学会分析各类器官(组织)病理图像。
前期测试数据显示,该大模型可完成包括泛癌分类、病灶识别和检测、多癌种亚型分类、生物标志物评估等在内的百余项临床病理辅助诊断任务,涉及肺、乳腺、肝脏、食管等20余种器官(组织)。根据相关文献检索,这也是目前全球已知赋能临床辅助诊断任务最多最广的病理大模型。
王哲表示,病理大模型PathOrchestra的发布为数智化病理学科建设提供了强大的底层技术支撑。依托病理大模型的底层赋能,可以将AI的能力半径拓展至百余种临床病理辅助诊断任务,有望缓解病理医生工作高负荷现状,提高阅片效率,助力病理学科实现数字化、智慧化转型,为患者和临床医生提供更高质量的病理服务。
“PathOrchestra是一首由视觉模型、大语言模型以及多模态数据共同奏响的协奏曲,希望这首协奏曲能够奏出美好的曲调,为我国病理诊断事业发展做出贡献。”王哲说。(临床病理中心 王伟 文/图 王哲 刘尧 陈玉俊/审核)
责编:方雯