國際政策趨勢
AI工具監管的重要關鍵是透明度
AI設備在醫療領域的應用一直處於監管的灰色地帶。在2021年的消費性電子展（Consumer Electronics Show, CES）上，專家表示透明度是確保AI工具能按照預期完成工作的關鍵。為了讓臨床醫師評估AI工具是否值得信賴，該工具需要有足夠的透明度讓醫師了解其運作方式。
在COVID-19大流行期間，從篩選肺部X光片以發現確診跡象的演算法，到預測哪些病患會轉為重症的檢傷工具等AI應用已被迅速的開發出來。但是，該怎麼確認這些工具會按照我們預期完成工作，其開發方式與預期用途的透明度就是其中的重要關鍵。
FDA預計於今年底完成AI監管框架之立法
2021年1月，美國FDA發布首個「人工智慧與機器學習的軟體作為醫療器材行動計畫」（Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan），使用多管齊下的方法針對AI/ML醫療軟體進行監督，包括制定評估和改善機器學習演算法的方法，以及提高軟體透明度，並計畫重新審查監理框架。
在川普任期的最後幾天，FDA與衛生及公共服務部（Department of Health and Human Services, HHS）就AI工具如何在醫療照護領域進行監管而有所歧異。FDA才剛制定了一項計畫，以監管未來AI軟體所帶來的變化，HHS就向FDA提議應全面停止對於某些軟體工具的審查。該建議令許多人大吃一驚，且似乎與FDA所提出的計畫背道而馳。
擬議的豁免清單包括了AI在醫療照護領域的一些常見用途，如標記疑似癌症病變的軟體，以及放射科電腦輔助診斷分類和通知軟體。FDA為因應COVID-19大流行，暫時豁免這些工具的上市前通知（Premarket Notification）要求，而HHS希望能將該監管的靈活性永久化。為使其有所依據，HHS引用了510(k)的許可條件，即醫材公司必須證明其醫材與已合法上市之產品具相同安全性及有效性（實質相等性），且無不良事件的報告。
FDA將行動計畫分做五個部分，說明如何在未來的醫療照護領域中監管機器學習工具，包括如何使演算法更加透明；如何評估AI偏見；以及該機構如何處理演算法經過學習後所造成的變化等問題。預計在今年，FDA將發布一份框架草案，使開發人員對於AI系統的變化有一個準則可以去遵循。
FDA批准AI工具之審查情況
FDA正加快AI工具的審查速度，但在這過程中，缺少了許多關鍵資訊，而這些可以衡量該設備在病患照護中實際的運作狀況。
一份4月在《Nature Medicine》期刊所發表的評論上發現，經FDA核准的130種AI設備，其中有126種僅進行了回溯性研究（retrospective study）。亦無揭露AI設備測試的場所，或是該設備在不同種族、性別、地點所產生的結果。而不同的醫院也有不同的資料處理方式，這亦是影響AI模型在實際使用情況的原因之一。
大多數通過審核的AI設備，主要是用來進行檢傷分級或是輔助醫師臨床決策，其需要進行前瞻性研究（prospective study），以了解該設備與醫師、醫院資料系統間實際的運作狀況。而該評論的作者亦指出「大多數的電腦輔助診斷設備，目的是用與決策輔助，而不是主要診斷工具。一項前瞻性的隨機研究可能會發現臨床醫師誤用該工具於初診，而產生的結果將會與該工具用於輔助決策時的預期結果不同。」
AI工具於臨床決策之情形
一年前，密西根大學醫學中心面臨醫療滿載的情況，為應對該情況遂決定在附近的室內田徑場架設野戰醫院。在野戰醫院開始前兩週，密西根大學醫學中心決定使用Epic Systems所開發的風險模型來篩選高風險病患。患者被給予0到 100的分數，目的在幫助醫療團隊確認其是否有使用到ICU病床的可能。
根據《MedCity News》調查的26家醫療體系中，將近一半使用了自動化工具來應對COVID-19大流行，但沒有一個設備有受到監管。對此專家提出了告誡，勿在高風險決策中使用該工具。
而在今年1月，FDA就發布了「人工智慧與機器學習的軟體作為醫療器材行動計畫」，針對AI醫療軟體進行監管。但最近美國聯邦貿易委員會（Federal Trade Commission, FTC）警告說，該計畫可能會加劇人工智慧的偏見，並援引論文稱，如果無法解決偏見，人工智慧可能使現有的醫療差距惡化。
「我認為我們仍需要開發更好的方法，來進行醫學領域的演算法風險評估。我希望能看到FDA在AI和機器學習上能發揮出比之前更強的監管作用。」非營利組織Data&Society的研究人員Kellie Owens表示。
與許多數位科技一樣，醫療照護領域的AI設備因疾病的流行，反而推動了其成長。去年FDA核准上市的設備突破了紀錄，這其中也包含了使用緊急使用授權（emergency use authorization, EUA）上市，用來診斷病患出現COVID-19併發症可能性的設備，其亦批准了在CT斷層掃描篩選肺栓塞潛在病例的工具。
同時間，亦有越來越多的醫院使用病人資料，開始構建自己的演算法。而隨著AI設備從非臨床應用轉向臨床應用，FDA認為有必要規範它們在醫療體系中的使用，但監管這些新興工具是一項艱鉅的任務。「由於AI和機器學習醫療設備的創新速度迅速，向FDA提交的相關申請文件急遽增加，我們一直在努力制定適合這些科技的監管框架，並為監管制度提供一個更彈性的作法。」FDA 發言人 Jeremy Kahn表示。
新法規面臨之相關困境
在FDA起草評估這些工具的新法規時，隱約可見幾項大問題：監管機關將如何處理偏見和公平的問題？患者和他們的醫生將獲得該系統的那些資訊？這些問題乃是關鍵，醫生的個人決定可能只影響到少數病人，而這些演算法則可能會影響到數千人的生命。
杜克大學數位健康政策中心數位健康政策研究人員Christina Silcox指出，FDA的監管政策仍有許多細節需要調整。例如，開發人員經常吹噓機器學習的演算法會隨時間的推移而加以改進，但在大多數的情形下，FDA只會批准固定或是鎖定的演算法。為了獲得核准，開發人員將不得不公開其計畫機器學習演算法未來改變的改變方向，以及如何控管其安全性。
這是FDA關注的重點，因為隨著時間的推移；臨床實踐產生的變化；引入新的療法；或者是資料本身發生改變，都有可能使演算法失去原本精準度。此外，Silcox表示當演算法在不同地方由不同群體所使用時，如何調整成適合其使用的演算法，亦是FDA看重的一個問題。
專家提出之立法建議
鑑於大多數AI系統都擁有專利，因此很難知道其運作方式。FDA提出了確保軟體透明度的計畫，但目前仍未公開其具體方針。Silcox則建議，創建類似食品營養標示的「標示」說明（nutrition label），讓臨床醫師在使用該系統時，能清楚知道功能與其限制。例如，了解一個AI模型是否經過前瞻性測試，或者是否在不同種族、性別、年齡、不同共病症（Comorbidity）或不同地點的病人中運作正常，都極為重要。
根據《MedCity News》最近對於醫療院所做的調查，有12家醫院表示正在使用與COVID-19相關的臨床決策輔助工具。大多數人表示，其所使用的軟體會提供一些指標，讓臨床醫師了解有哪些風險因素被納入評分中。但卻沒有一家醫院明確的告知病患，其醫療照護決策與軟體相關。
這也因此帶來了更棘手的倫理問題，這些問題並沒有因監管而獲得解決。例如，醫師如何使用這些軟體於臨床上，以及從長遠來看，這些軟體會改變醫師的臨床決策嗎？目前尚無法得知。但FDA制定的監理審查制度，以及系統是否獲得核准。最終，都有可能成為臨床醫生是否使用這些工具的決定性因素。
參考資料：
https://www.fda510k.com.tw/index.php/intro-of-fda-510-k