近日，清华大学黄天荫教授团队、上海交通大学电院计算机系/教育部人工智能重点实验室盛斌教授团队、上海交通大学医学院附属第六人民医院贾伟平教授和李华婷教授团队、携手新加坡国立大学覃宇宗教授团队，通过医工交叉合作研究，突破低算力资源条件下多模态大模型优化的卡脖子瓶颈，构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统DeepDR-LLM。该系统在覆盖亚非欧三大区域七个国家的多中心队列中进行了回顾性验证，以及针对中国基层医疗实际开展了前瞻性真实世界验证，首次向全球提供了面向糖尿病医疗垂直领域的多模态大模型应用成效的高质量循证证据。研究证明DeepDR-LLM系统可有效改善DR筛查和基层糖尿病管理水平，为未来全球糖尿病治理提供了革命性的数字解决方案。（Nat Med. 7月19日在线版）

图1 DeepDR-LLM系统纳入基层糖尿病诊疗流程的愿景

DeepDR-LLM系统融合了大语言模型和深度学习技术优势，创造性地提出了融合适配器（Adaptor）和低秩自适应（Low-Rank Adaptation, LoRA）的协同优化技术，通过深度学习获取影像可解释性特征，适配经优化过的大语言模型，突破了在低算力资源条件下多模态大模型优化的卡脖子瓶颈，利用37.2万条基层慢病诊疗和慢病管理数据和知识，实现了医学影像诊断与诊疗意见的多模态生成功能。DeepDR-LLM能提供糖尿病视网膜病变辅助诊断结果及个性化糖尿病综合管理意见。自2023年研制成功后，科研团队对该系统开展了安全性、可靠性、可控性、公平性等多维度的评估。研究团队邀请糖尿病相关学科的著名学者组成国际多学科专家委员会，专家委员会首先从覆盖中国31个省区的中国糖尿病慢性并发症研究队列中随机抽取100个病例样本，专家针对每个病例形成诊疗共识，以此为标准答案，对DeepDR-LLM系统和基层医生给出的诊疗意见进行盲法评分，发现DeepDR-LLM系统产出诊疗意见的质量达到或优于基层医生的水平。

DeepDR-LLM系统通过来自北京、上海、广州、武汉及香港等中国城市和新加坡、印度、泰国、英国、阿尔及利亚、乌兹别克斯坦六个国家的超50万张眼底图像对DeepDR-LLM系统进行外部测试，其DR诊断能力达到专业眼科医生水平。进一步通过面向中国基层医生和新加坡读片人员的读片试验，利用从中国糖尿病慢性并发症研究、新加坡眼病流行病学研究等数据库抽取的眼底图像，团队同时证明了基层医生在DeepDR-LLM的辅助下能够更准确地判读DR。

更重要的是，研究团队将集成的DeepDR-LLM系统应用于真实世界临床流程，开展了随访769名中国基层糖尿病患者的前瞻性研究，证明了在DeepDR-LLM系统纳入糖尿病诊疗流程后，可显著改善新发糖尿病患者的自我管理行为，并提高DR患者的转诊依从性。

研究者说

当前，全球范围内基层糖尿病管理水平存在显著差异，尤其在我国和一些中低收入国家，医疗资源匮乏、基层医生培训不足等问题尤为突出。 DeepDR-LLM系统凭借其糖尿病视网膜病变（DR）辅助诊断及糖尿病管理建议推荐功能。将其融入基层糖尿病诊疗流程，有望提升基层DR筛查效率及糖尿病管理建议的精准性，从而对糖尿病患者的预后产生积极影响。

该系统得到了多位国际知名专家的高度认可，包括美国医学科学院院士、美国斯克里普斯研究所所长Eric Topol教授，2023年沃尔夫医学奖得主、加拿大多伦多大学医学院Daniel J. Drucker教授，以及亚洲糖尿病协会创始人、香港中文大学陈重娥教授, 被视为提升基层糖尿病管理质量的革命性数字解决方案。

 研究团队秉承以人为本、智能向善理念，通过医工交叉和国内外学术合作，先后奏响了糖尿病智能筛、防、治的DeepDR“三部曲”（DeepDR、DeepDR-Plus、DeepDR-LLM），为糖尿病管理的未来变革提供了新的高质量循证证据，推动“一带一路”及中低收入国家和地区的基层糖尿病管理模式的持续进步，为全球糖尿病治理更好地融入数字化、智能化、绿色化潮流贡献中国方案和亚洲智慧。