Nat Med：上海交大盛斌等团队研制国际首个糖尿病诊疗多模态大模型DeepDR-LLM
2024-07-22 MedSci原创 MedSci原创
糖尿病是全球上升最快的主要慢性病，可造成失明、肾功能衰竭、截肢、脑卒中、心肌梗死等，亦与肿瘤感染等密切相关。全球糖尿病患者超5亿人，其中80%生活在中低收入国家。我国现有糖尿病人数居全球之首，糖尿病防
糖尿病是全球上升最快的主要慢性病，可造成失明、肾功能衰竭、截肢、脑卒中、心肌梗死等，亦与肿瘤感染等密切相关。全球糖尿病患者超5亿人，其中80%生活在中低收入国家。我国现有糖尿病人数居全球之首，糖尿病防治形势更为严峻，尤其在基层和偏远地区缺乏适宜性糖尿病管理技术，基层医生的数量和经验不能满足糖尿病管理的实际需求。糖尿病的患病率不断上升对中国及全球的公共卫生构成重大挑战。
在糖尿病护理领域，糖尿病视网膜病变(Diabetic Retinopathy, DR)的筛查仍然是一个重要的公共卫生挑战。全球有超过5亿人患有糖尿病，其中80%生活在低收入和中等收入国家(LMICs)。这种日益增加的患病率在这些资源有限的地区带来了巨大的公共卫生挑战。LMICs中，医疗资源不足和缺乏经过培训的初级保健医生(Primary Care Physicians, PCPs)是主要障碍，导致糖尿病的普遍漏诊、初级糖尿病管理不善以及不充分或不适当的专科转诊。这不仅影响个人健康结果，还带来了更广泛的社会经济后果。
糖尿病视网膜病变是糖尿病最常见的并发症，影响30-40%的糖尿病患者，是劳动力人群失明的主要原因。DR的存在还预示着其他并发症的高风险，例如肾脏、心脏和大脑。因此，定期进行DR筛查被普遍推荐为初级糖尿病护理的重要组成部分。然而，由于基础设施、人力和可持续的成本效益筛查项目的匮乏，DR筛查在LMICs中常被忽视。
为了应对这些挑战，近年来出现了多种数字技术，包括远程医疗、人工智能(AI)辅助血糖监测与预测、基于眼底图像的深度学习模型以及低成本的便携式眼底相机。然而，这些解决方案通常侧重于增强糖尿病管理或提供DR筛查，但很少结合这两方面的内容。此外，这些技术的使用还需要具备相关技能的PCPs，而在资源有限的环境中，训练有素的PCPs数量较少。
人工智能特别是深度学习在糖尿病及并发症管理领域发挥着越来越重要的作用，如2017年，时任新加坡国家眼科中心医学主任的黄天荫教授及其团队在国际上率先基于深度学习算法在多种族人群上实现了自动诊断中重度DR病例，成果发表于JAMA，成果在智能医疗发展历史上具有里程碑式意义。
2015年来，上海交通大学贾伟平教授牵头多学科团队开展20万人糖尿病眼病筛查项目，2018年，贾伟平教授和李华婷教授团队与上海交通大学电子信息与电气工程学院盛斌教授团队开展医工交叉协同创新，并携手新加坡国家眼科中心等国际顶尖学术机构，在上海市科委和上海交通大学支持下，获批组建上海市代谢相关疾病智慧防控“一带一路”国际联合实验室，致力于在代谢相关疾病智能防治领域开展广泛医工交叉和国际合作。联合实验室自建立以来，分析百万级数据，研制迁移强化的多任务深度学习系统DeepDR，实现对DR从轻度到增殖期病变的全病程自动诊断，并能对眼底图像的质量进行实时反馈以及眼底病变的识别分割, 成果2021年发表于Nature Communications，该技术同时应用于国际糖尿病联盟“全球中低收入国家糖尿病视网膜病变筛查项目”，推广至48个国家（详细见：Nat Commun：贾伟平和盛斌教授开发深度学习系统DeepDR检测糖尿病视网膜病变的疾病谱）。2021年底，黄天荫教授于受聘于清华大学担任讲席教授及医学学科带头人，积极开展人工智能赋能糖尿病及眼病并发症诊疗的转化研究工作。联合实验室与清华大学黄天荫教授团队通过持续性合作研究，成功构建基于Weibull混合分布模型的深度学习系统DeepDR Plus，超越由美国Google团队在该领域此前的领先技术，在全球率先实现对DR进展长达5年的风险预警和进展预测，可在大幅降低筛查频率和公共卫生成本的情况下仍保持极低的漏诊率，成果于2024年1月发表于Nature Medicine（详细见：Nat Med：上海交通大学贾伟平/李华婷/盛斌等合作开发用于预测糖尿病视网膜病变进展时间的深度学习系统）。
然而，过往的人工智能系统研发主要集中在糖尿病的并发症筛查或辅助管理的单一领域。随着全球范围内以ChatGPT为代表的生成式人工智能技术的迅猛发展，多模态大模型正不断推动医疗领域的新应用场景和模式的涌现。然而，这些模型尚不能根据患者的医学影像和具体病情，提供准确且安全的糖尿病综合诊疗建议。鉴于这种现状，如何有效整合糖尿病并发症的精准诊断与糖尿病诊疗意见的自动生成，构建出一个安全可控的多模态智能模型，以支持基层医生提供一站式辅助诊疗服务，已成为国际医疗领域的前沿课题和重大挑战。
上海交通大学电院计算机系/教育部人工智能重点实验室盛斌团队携手清华大学黄天荫教授团队、上海交通大学医学院附属第六人民医院贾伟平和李华婷团队，携手新加坡国立大学覃宇宗教授团队，通过医工交叉合作研究，构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统DeepDR-LLM，成果于2024年7月19日在Nature Medicine发表（题为Integrated image-based deep learning and language models for primary diabetes care）。DeepDR-LLM系统融合了大语言模型和深度学习技术优势，实现了医学影像诊断与诊疗意见的多模态生成功能，能提供糖尿病视网膜病变（diabetic retinopathy, DR）辅助诊断结果及个性化糖尿病综合管理意见。该系统自去年研制成功后，在覆盖亚非欧三大区域七个国家的多中心队列中进行了回顾性验证，以及针对中国基层医疗实际开展了前瞻性真实世界验证，首次向全球提供了面向糖尿病医疗垂直领域的多模态大模型应用成效的高质量循证证据。研究证明DeepDR-LLM系统可有效改善DR筛查和基层糖尿病管理水平，为未来全球糖尿病治理提供了革命性的数字解决方案。
图1. 2024年7月19日本文于《Nature Medicine》杂志在线发表
本研究成功研发了全球首个面向糖尿病基层诊疗的视觉-大语言模型多模态集成智能系统DeepDR-LLM。该系统由LLM模块和DeepDR-Transformer模块组成，科研团队创新性地提出融合适配器（Adaptor）和低秩自适应（Low-Rank Adaptation, LoRA）协同优化技术，构建了DeepDR-LLM多模态大模型（图2），可适配包括LLaMA在内的大语言模型，LLM模块将训练网络层与大语言模型的固有权重参数相融合，突破低算力资源约束下的多模态大模型优化的瓶颈，并进一步基于37.2万条基层慢病诊疗和慢病管理数据和知识实现了高效优化训练，使DeepDR-LLM系统可基于患者个体的临床信息生成精准糖尿病管理意见。与此同时，DeepDR-Transformer模块引入Transformer模型架构针对超50万张眼底图像进行训练，精准实现眼底影像的质量检测、病变分割和DR分级诊断。DeepDR-Transformer模块生成的DR等相关视觉特征信息可自动输入LLM模块，从而实现DeepDR-LLM系统的一站式多模态诊疗意见集成。
图2. DeepDR-LLM系统概览
DeepDR-LLM系统自去年研制成功后，科研团队对该系统开展了安全性、可靠性、可控性、公平性等多维度的评估（图3）。研究团队邀请香港中文大学Juliana C. N. Chan教授、上海交通大学医学院附属第六人民医院包玉倩教授、澳大利亚Baker心脏病与糖尿病研究所Jonathan E. Shaw教授、美国约翰霍普金斯大学Justin B. Echouffo-Tcheugui教授、新加坡国家眼科中心Gavin Siew Wei Tan教授等糖尿病相关学科的著名学者组成国际多学科专家委员会，专家委员会首先从覆盖中国31个省区的中国糖尿病慢性并发症研究队列中随机抽取100个病例样本，专家针对每个病例形成诊疗共识，以此为标准答案，对DeepDR-LLM系统和基层医生给出的诊疗意见进行盲法评分，发现DeepDR-LLM系统产出诊疗意见的质量达到或强于基层医生的水平（图3a）。DeepDR-LLM系统通过来自北京、上海、广州、武汉及香港等中国城市和新加坡、印度、泰国、英国、阿尔及利亚、乌兹别克斯坦六个国家的超50万张眼底图像对DeepDR-LLM系统进行外部测试，其DR诊断能力达到专业眼科医生水平（图3b）。面向中国基层医生和新加坡读片人员同时开展前瞻性读片试验，利用从中国糖尿病慢性并发症研究、新加坡眼病流行病学研究等数据库抽取的眼底图像，试验证实了基层医生在DeepDR-LLM的辅助下能够更准确地判读DR（图3c）。在回顾性评估中，LLM模块在英语测试中表现与PCPs和内分泌学住院医师相当，在中文测试中表现优于PCPs且与内分泌学住院医师相当。在识别需转诊的DR方面，PCPs在未使用辅助工具的情况下，准确率为81.0%，而在使用DeepDR-Transformer辅助下，准确率提升至92.3%。
此外，研究人员还进行了单中心的真实世界前瞻性研究，部署了DeepDR-LLM系统。结果显示，在未使用辅助工具的PCP组(n=397)和使用PCP+DeepDR-LLM辅助工具组(n=372)中，新诊断糖尿病患者在使用辅助工具组中表现出更好的自我管理行为(P<0.05)。对于需转诊的DR患者，使用辅助工具组更有可能遵循转诊建议(P<0.01)。此外，DeepDR-LLM的部署提高了管理建议的质量和同理心水平。鉴于其多方面的表现，DeepDR-LLM有望成为增强初级糖尿病护理和DR筛查的数字解决方案。
图3. DeepDR-LLM系统评估流程
目前全球基层糖尿病管理水平参差不齐，中低收入国家面临医疗资源不足、缺乏训练有素的基层医生等挑战。DeepDR-LLM系统具备DR辅助诊断及糖尿病管理意见推荐功能，将其纳入基层糖尿病管理诊疗流程有望提高基层DR筛查能力和糖尿病管理意见推荐能力，进而改善糖尿病患者预后（图4）。研究团队秉承以人为本、智能向善理念，通过医工交叉和国内外学术合作，先后奏响了糖尿病智能筛、防、治的DeepDR“三部曲”（DeepDR、DeepDR-Plus、DeepDR-LLM），为基层糖尿病管理的未来变革提供了新的高质量循证证据，推动“一带一路”及中低收入国家和地区的基层糖尿病管理模式的持续进步，为全球糖尿病治理更好地融入数字化、智能化、绿色化潮流治理贡献中国方案和亚洲智慧。
图4. DeepDR-LLM系统纳入基层糖尿病管理诊疗流程的愿景
这项研究成果发表后，得到国际上众多学者的高度评价。人工智能领域最高引用前十学者、美国斯克里普斯研究研究所(Scripps Research)所长Eric Topol教授评价：“For people with diabetes, multimodal AI provided high quality and empathetic guidance with enhanced self-management behaviors beyond the primary care physician alone”。2023年沃尔夫医学奖得主、GLP-1研究领域的奠基人和杰出领袖、加拿大多伦多大学医学院教授Daniel J. Drucker教授评价：“DeepDR-LLM holds promise as a digital solution for enhancing primary diabetes care and diabetic retinopathy screening”。亚洲糖尿病协会创始人、ADA国际糖尿病Harold Rifkin杰出奖获得者、香港中文大学陈重娥(Juliana C. N. Chan)教授评价：“This is a very innovative project of combining language and image AI models to address a public health problem”。
研究者信息
上海交通大学博士生李佳佳（导师为盛斌教授）、博士生管洲榆（导师为贾伟平教授）、上海市保健医疗中心王静医生为本文共同第一作者。清华大学黄天荫教授为最后通讯作者，上海交通大学盛斌教授、贾伟平教授及李华婷教授，和新加坡国立大学覃宇宗教授为本文共同通讯作者。本工作还得到了来自国家基层糖尿病防治管理办公室、中国医学科学院北京协和医学院、首都医科大学、华中科技大学、中山大学、香港中文大学等多个机构及专家团队的支持和帮助。此外，英国、美国、新加坡、澳大利亚、西班牙、马来西亚、阿尔及利亚、乌兹别克斯坦、泰国、印度等国的多学科专家团队给予了帮助和支持。该研究得到科技部国家重点研发计划、国家自然科学基金、北京市自然科学基金和上海市科委“一带一路”国际联合实验室建设项目等资助。DeepDR-LLM系统研发所需算力资源得到上海交通大学AI for Science科学数据开源开放平台的支持。
原始出处：
L, Li T, Cheng D, Wang Z, Qin Y, Dai L, Meng Z, Shu J, Lu Y, Jiang N, Hu T, Huang S, Huang G, Yu S, Liu D, Ma W, Guo M, Guan X, Yang X, Bascaran C, Cleland CR, Bao Y, Ekinci EI, Jenkins A, Chan JCN, Bee YM, Sivaprasad S, Shaw JE, Simó R, Keane PA, Cheng CY, Tan GSW, Jia W, Tham YC, Li H, Sheng B, Wong TY. Integrated image-based deep learning and language models for primary diabetes care. Nat Med. 2024 Jul 19. doi: 10.1038/s41591-024-03139-8
版权声明：
本网站所有注明“来源：梅斯医学”或“来源：MedSci原创”的文字、图片和音视频资料，版权均属于梅斯医学所有。非经授权，任何媒体、网站或个人不得转载，授权转载时须注明“来源：梅斯医学”。其它来源的文章系转载文章，本网所有转载文章系出于传递更多信息之目的，转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
在此留言
