近期,樂卓博大學公布了AR(增強現(xiàn)實)研究的最新成果——利用COVID19患者肺部的CT掃描建立受感染器官的虛擬3D模型,再通過HoloLens 2增強現(xiàn)實(AR)頭盔對疾病進行了獨特的觀察。
這項研究被公認為是世界首創(chuàng),其可視化效果能夠有效加強對患者肺部內(nèi)部的研究。該系統(tǒng)由樂卓博大學計算機科學與信息技術學院系主任Henry Duh教授領導的團隊歷時八周開發(fā)而成。
杜教授說,3D建模可以顯示健康的肺部被冠狀病毒感染的整個過程,可以更好地了解病毒是如何侵入人體——這是2D生物醫(yī)學圖像難以實現(xiàn)。
醫(yī)學影像是提供醫(yī)療服務不可或缺的,也是臨床研究的重要組成部分。然而,目前缺乏合適的軟件來充分利用增強現(xiàn)實與醫(yī)學圖像的多模態(tài)交互。
而樂卓博大學試圖通過使用AR,將3D圖像疊加在(通過相機鏡頭看到的)真實物體上的方式,來構建沉浸式醫(yī)療工具來克服這一問題。
通過利用包括Windows10和HoloLens2在內(nèi)的微軟資源,大學希望這項技術能被盡快應用于臨床診斷。
杜教授的團隊現(xiàn)在正朝著使用人工智能自動分割肺部(或是任何感興趣的器官)的方向努力,并從2D醫(yī)學圖像中渲染3D掃描,對其揭示的內(nèi)容進行更深入的分析。
杜教授介紹道,”我們項目的最終目標是實現(xiàn)感染肺部的可視化,同時與人工智能分析的結果相聯(lián)系。臨床醫(yī)生將能夠看到實時分析結果,從系統(tǒng)中獲得更深入的研究結果。
微軟(澳大利亞)的教育總監(jiān)Tiffany Wright說。“微軟非常榮幸能夠支持像Duh教授這樣的先鋒技術專家的工作。人工智能和HoloLens2被完美結合,而樂卓博大學以令人驚訝的速度完成了應用的整合。從2021年開始,樂卓博大學將開設一門新的課程——數(shù)字媒體碩士,該課程將研究用戶體驗、交互設計以及虛擬和增強現(xiàn)實環(huán)境等問題,而這個項目將成為學生和研究人員的重要燈塔。