為醫院裝載“超級大腦”！大模型“智慧中樞”驅動智慧醫院建設

 行業新聞    |      2024-07-10
新民晚報

新民晚報訊（記者 郜陽）近日，商湯醫療攜手瑞金醫院、華西醫院、新華醫院、西京醫院、中科大附屬第一醫院、北京清華長庚醫院，在行業內率先啟動醫療多模態大模型賦能的智慧醫院創新示范共創，打造由大模型“智慧中樞”驅動的智慧醫院建設示范樣板。
作為共創的重要成果之一，商湯醫療聯合中華醫學會病理學分會副主委王哲團隊、清華大學何永紅教授團隊，共同發布了國內首個病理大模型。病理大模型基于國內規模最大的數字病理圖像數據集訓練，并實現全球最廣泛的臨床任務賦能。


圖說：以醫療大語言模型作為智慧醫院建設“中樞大腦”，智能調度多模態專用模型 采訪對象供圖（下同）
醫療大模型成智慧醫院“中樞大腦”
生成式人工智能的出現，讓智慧醫療大跨步邁入3.0時代。“2.0時代的醫療人工智能主要集中在‘單點應用’上，尚未實現整體‘一盤棋’布局。在3.0時代，我們希望利用醫療大模型幫助醫院建立一個‘中樞大腦’，實現對智慧醫院建設的底層賦能。”商湯科技副總裁張少霆表示。
要成為“中樞大腦”意味著醫療大模型必須具備綜合分析多模態數據的能力，為了跨越這條“鴻溝”，商湯醫療聯合上海交通大學醫學院附屬瑞金醫院、四川大學華西醫院、上海交通大學醫學院附屬新華醫院、空軍軍醫大學西京醫院、中國科學技術大學附屬第一醫院、清華大學附屬北京清華長庚醫院，共同舉行“大模型賦能智慧醫院創新示范共創儀式”，打造以醫療多模態大模型為創新驅動的智慧醫院建設示范樣板。
各方以商湯醫療大語言模型“大醫”作為智慧醫院建設“中樞大腦”，智能調度覆蓋醫學文本、放射影像、病理圖像等多種數據模態的專用模型，輔助醫生完成跨科室、跨模態的復雜診斷推理。
張少霆分析，多模態能力的實現，離不開“通才”模型和“專才”模型的默契配合，“結合‘通才’模型強大的綜合性能，與多模態‘專才’模型在特定任務中的優勢能力，通過‘通專融合’的路徑打造‘醫療多模態智能體’，才能高效助力智慧醫院建設‘一盤棋’布局。”


圖說：病理大模型PathOrchestra可賦能百余項臨床任務
發布國內首個病理大模型
病理診斷被譽為疾病診斷的“金標準”，但該領域長期以來面臨病理醫生培養周期長、優質病理診斷資源分布不均勻等問題。人工智能技術的應用讓國內外病理科迎來數智化轉型浪潮，不過由于數字病理切片分辨率高、涉及病種多，在“大數據+精標注”的傳統AI模型訓練范式下，想要對每一種疾病進行精標注訓練幾乎是“不可能完成的任務”。
此次發布的病理大模型PathOrchestra，利用國內規模最大的近30萬張全切片數字病理圖像（近300TB數據）數據集訓練，并融合了文本、視頻等多模態訓練數據。通過對海量數據的自監督學習，無需大量精標注數據，即可讓模型“觸類旁通”學會分析各類器官病理圖像，已覆蓋肺、乳腺、肝臟、食管等20余種器官，賦能包括泛癌分類、病灶識別和檢測、多癌種亞型分類、生物標志物評估等在內的百余項臨床任務，已在多器官泛癌分類、淋巴瘤亞型診斷、膀胱癌篩查等近50項任務中準確率超過95%，這也是目前全球賦能臨床任務最廣的病理大模型。
在訓練過程中，研發團隊還針對性地增加了食管癌、乳腺癌等中國發病率較高的癌癥數據，使模型能力更符合我國臨床實際需求。
據悉，為了推動大模型技術在病理診斷中的應用，商湯醫療已打造大模型驅動的數智化病理科整體解決方案，串聯切片數字化掃描、高性能閱片、AI智能輔助診斷、數據存儲等病理智慧化診斷全流程。在病理大模型賦能下可支持百余種臨床輔助診斷任務，還可適配眾多品牌掃描儀及存儲設備，實現千人并發秒級無卡頓調閱，滿足多院區病理智能分析需求。