肺結節CT圖像輔助檢測軟件注冊審查指導原則

日期：2022-05-26

?|?

來源：

?|?

編輯：Cikey

肺結節CT圖像輔助檢測軟件注冊審查指導原則

本指導原則是對肺結節CT圖像輔助檢測軟件的一般要求，申請人應依據產品的具體特性確定其中的內容是否適用。若不適用，需具體闡述其理由及相應的科學依據，并依據具體的產品特性對注冊申報資料的內容進行充實和細化。

本指導原則是供注冊申請人和技術審評人員使用的指導性文件，但不包括注冊審批所涉及的行政事項，亦不作為法規強制執行，應在遵循相關法規的前提下使用本指導原則。如果有能夠滿足相關法規要求的其他方法，也可以采用，但是需要提供詳細的研究資料和驗證資料。

本指導原則是在現行法規和標準體系以及當前認知水平下制定的，隨著法規和標準的不斷完善，以及科學技術的不斷發展，相關內容也將適時進行調整。

本指導原則是人工智能醫療器械指導原則體系的重要組成部分，基于人工智能醫療器械審評指導原則的通用要求，明確了肺結節CT圖像輔助檢測軟件的具體要求。

一、適用范圍

本指導原則適用于肺結節CT圖像輔助檢測軟件的產品注冊。按現行《醫療器械分類目錄》，該類產品分類編碼為21-04-02，管理類別為三類。設備中所含肺結節CT圖像輔助檢測功能也適用于本指導原則。采用非人工智能算法的肺結節CT圖像輔助檢測軟件可參照本指導原則執行。

二、注冊審查要點

（一）監管信息

明確申請表中產品名稱、管理類別、分類編碼、型號規格、產品組成等信息。

1.產品名稱

產品命名需符合《醫療器械通用名稱命名規則》的要求。根據產品預期用途可采用肺結節CT圖像輔助檢測軟件進行命名。

2.分類編碼

依據《醫療器械分類目錄》，申報產品分類編碼為21-04-02。按第三類醫療器械管理。

（二）綜述資料

1. 產品描述

1.1器械及操作原理描述

1.1.1工作原理

需詳述產品的工作原理，例如：基于深度學習技術對醫學影像進行分析處理、對肺結節進行分割、檢測、自動識別等。

1.1.2結構組成

結構組成明確交付內容和功能模塊，其中交付內容包括軟件安裝程序、授權文件、外部軟件環境安裝程序等軟件程序文件，功能模塊包括客戶端、服務器端（若適用）、云端（若適用），若適用注明選裝、模塊版本。基于人工智能算法（如深度學習）的功能模塊，需在模塊名稱中予以注明，如深度學習。

1.1.3產品描述

需明確臨床工作流程，工作流程中使用申報產品的時間（如在醫生閱片前使用）。

肺結節檢測當前的臨床實踐（基于參考文獻）。

結合用戶界面圖示詳細介紹技術要求中對應的臨床功能、量化分析的具體內容、自動操作、手動及半自動操作/預定義的默認設置。需明確軟件輸出報告、特殊聲稱（如用于檢測小于4mm結節）、服務器部署（局域網、云端）、產品接口和聯合使用設備等信息。

1.2 型號規格

需明確申報產品的型號規格及發布版本。產品型號規格及其劃分，如同一個注冊單元包含多個型號規格，需提供產品型號規格區分列表或配置表。

1.3研發歷程

闡述申請注冊產品的研發背景和目的。如有參考的同類產品或前代產品，需提供同類產品或前代產品的信息，并說明選擇其作為研發參考的原因。

1.4與同類和/或前代產品的參考和比較

同一制造商生產的改良器械，建議直接和本公司已獲批準的器械的算法性能進行比較（即，使用相同的評估過程和測試數據集比較性能）。

2.適用范圍和禁忌證

（1）適用范圍

適用范圍需明確處理對象、核心功能、適用人群、目標用戶、臨床用途。

例如，用于胸部CT圖像的顯示、處理、測量和分析，可對4mm及以上肺結節進行自動識別并分析結節影像學特征，供經培訓合格的醫師使用，不能單獨用作臨床診療決策依據。

（2）預期使用環境

需明確設備使用場所和使用環境要求。

設備使用場所包括：醫療機構機房等。

使用環境要求需至少包括：推薦的硬件使用的適宜溫度、濕度、大氣壓、光照條件。

（3）適用人群

需詳述產品的適用人群、感興趣器官/疾病/病灶/異常、以及預期使用該產品的目標用戶。如，可供18歲及以上門診及體檢人群使用，供經培訓合格的放射科醫師、專科醫師使用。

（4）禁忌證

需明確產品臨床應用的禁忌證以及器械限制，包括導致器械無效且不應使用的疾病、病癥、異常。

（三）非臨床資料

1.產品風險管理資料

依據YY/T 0316《醫療器械風險管理對醫療器械的應用》，提供產品風險管理報告。

申請人需重點說明：申報產品的研制階段已對有關可能的危害及產生的風險進行了估計和評價，針對性地實施了降低風險的技術和管理方面的措施。產品性能測試對上述措施的有效性進行了驗證，達到了通用和專用標準的要求。申請人對所有剩余風險進行了評價，全部達到可接受的水平。產品風險分析資料需為申請人關于產品安全性的承諾提供支持。

風險管理報告一般包括以下內容：

（1）申報產品的風險管理組織。

（2）申報產品的組成。

（3）申報產品符合的安全標準。

（4）申報產品的預期用途，與安全性有關的特征的判定。

（5）對申報產品的可能危害作出判定（見附件1）。

（6）對所判定的危害采取的降低風險的控制措施。

（7）對采取控制措施后的剩余風險進行估計和評價。

2.產品技術要求及檢驗報告

2.1產品技術要求

依據《醫療器械產品技術要求編寫指導原則》進行編制。

2.1.1規格信息

明確軟件發布版本和版本命名規則。軟件版本命名規則原則上需涵蓋算法驅動型更新和數據驅動型更新，明確并區分重大軟件更新和輕微軟件更新，其中重大軟件更新列舉常見典型情況。

明確不同型號間產品差異。

2.1.2性能指標

明確產品處理對象，以及數據接口信息，包括成像模態（如計算機體層攝影）和特定軟硬件名稱及型號（如適用）。

明確軟件功能及指標，如輸入圖像的質量要求、結節檢出、結節密度分類類別（如實性、亞實性的手動分類等）、結節位置（如肺葉、肺段、肺結節CT圖像層面、肺內、胸膜）、結節標記方式（緊密包裹結節的邊界框、不緊密包裹結節的邊界框）、分割方式（自動分割、半自動分割、手動分割）、測量功能（如體積、最大軸向平面最長直徑、短徑、平均直徑、最大三維直徑、有效直徑、平均密度、面積等）、隨訪評估功能（如倍增時間、數值參數的百分比(%)和**變化、結節長軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均密度等）、客觀物理測量準確性（如線性度、精度、重復性、再現性、范圍限值、顯示誤差等）、結節的3D或MIP可視化等。

使用限制明確應用場景（體檢、門診病房）、患者（年齡、地域、疾病類型）、CT設備（主流廠家、探測器排數）、CT掃描參數(如管電壓、管電流、層厚/層間距、劑量（常規劑量、低劑量）、窗寬窗位、重建方式、顯示方式)、放射學檢查條件(CT增強掃描、CT平掃)、CT圖像質量要求(如分辨率、偽影)、結節檢出的尺寸范圍、結節密度分類類別。如軟件包含圖像質量判定功能，明確軟件使用限制。

若含有基于測評數據庫測試的性能指標，其要求參考《人工智能醫療器械注冊審查指導原則》。

運行環境，運行在不同計算機系統的產品模塊（如客戶端和云端）需分別描述其運行環境、服務器部署（局域網、云端）信息。

附錄中明確體系結構圖、用戶界面關系圖與主界面圖示、物理拓撲圖、測評數據庫、數據庫/集信息。

3.軟件研究

（1）基本要求

生產企業需依據《醫療器械軟件注冊審查指導原則（2022年修訂版）》提交相應軟件研究資料。其中，核心算法所述人工智能算法需依據《人工智能醫療器械注冊審查指導原則》提交相應算法研究資料。

生產企業需依據《醫療器械網絡安全注冊審查指導原則（2022年修訂版）》提交網絡安全描述文檔。按照《人工智能醫療器械注冊審查指導原則》提交數據安全資料。

若使用云計算服務，生產企業需依據《人工智能醫療器械注冊審查指導原則》提交相應研究資料。使用云計算服務需明確服務模式、部署模式、核心功能、數據接口、網絡安全能力、服務（質量）協議等要求。

軟件版本命名規則涵蓋算法驅動型軟件更新和數據驅動型軟件更新；區分重大軟件更新和輕微軟件更新，其中重大軟件更新需列舉常見典型情況。

（2）軟件安全級別

該類產品的軟件安全性級別為嚴重（C）級。

（3）核心功能

列明軟件核心功能的名稱、所用核心算法、預期用途并注明類型，全新的核心功能、核心算法、預期用途均需提供安全有效性研究資料。

表1 核心功能示例

核心功能	核心算法	預期用途	類型
影像增強，用于增強影像對比度，提升算法精度	灰度拉伸圖像增強算法	肺葉分割及肺結節檢測	成熟
以預測概率對檢測框進行優先級排序，消除冗余檢測框，抑制假陽性檢出	NMS非極大值抑制	輔助醫生進行肺結節檢測	成熟
生成候選結節框	基于Faster-Rcnn的肺結節檢出算法	輔助醫生進行肺結節檢測	全新
醫生檢測肺結節	基于FPN的肺結節檢出算法	輔助醫生進行肺小結節檢測	全新
利用ResNet產生的熱度圖裁剪出感興趣區域，然后將區域分類為結節和非結節，以實現結節檢測	基于ResNet的肺結節檢出算法	輔助醫生進行肺結節檢測	全新
利用灰度閾值提取肺部區域	基于自適應閾值的肺分割算法	分割出左右肺，幫助進一步檢出肺結節	成熟
測量肺結節體積，長短徑	基于3D-UNet的肺結節分割算法	輔助醫生對肺結節進行分割	全新
基于肺結節分割，測量肺結節平均HU值	基于HU值的肺結節密度測量算法	輔助醫生測量肺結節內部HU值	成熟
……

注：表1中全新是對當前深度學習算法的全新算法的示例

4.算法研究資料

4.1算法基本信息

需提供算法設計和功能的信息，提供流程圖及注釋，明確算法名稱、版本、軟件平臺的相關特性。

需描述算法每個階段（如肺結節檢出、肺結節分類、肺結節分割、肺結節測量）的設計和功能，通過文獻論述算法類型（成熟及全新）。

4.1.1肺結節檢出算法

肺結節檢出算法需明確算法的輸入，比如算法采用的是2D，2.5D還是3D的胸部CT圖像作為算法輸入；算法的輸出-標記格式描述（形狀、大小、與感興趣區域有關的預期位置、邊界、顏色，比如緊密包裹肺結節的矩形框端點（二維/三維），肺結節中心點）。

明確算法所采用的神經網絡結構，如 Faster RCNN；明確算法訓練采用的損失函數，如交叉熵，L1范數；明確算法設計過程中網絡結構、損失函數等核心組件選擇和設計的原則、方法與風險考量，如肺結節大小尺度的差異，肺結節與背景正負樣本的不均衡性、假陽性、過擬合等；若肺結節檢出采用多個模型融合，需明確不同模型訓練與推理的方式，以及模型融合的策略，如級聯，多數投票；

肺結節檢出存在同一個目標多個重疊框的問題，算法需明確匹配關系所采用的策略，如交并比（IoU），定位框中心距離；

明確算法的流程圖，需包含算法運行前所進行的前處理（圖像縮放、圖像像素值歸一化、圖像重采樣）以及算法運行后所進行的后處理操作（圖像重采樣、非最大化抑制）。明確訓練與部署所采用的框架（如Tensorflow, Pytorch）、算法運行環境（如內存、顯存的需求）。

若使用遷移學習技術，除上述內容外還需補充預訓練模型的數據集構建、算法測試等資料。

4.1.2肺結節密度分類算法

肺結節密度分類算法需明確輸出（密度類別），密度類別制定依據以及臨床適用性。

肺結節密度分類算法需明確算法的輸入，比如算法采用的是2D，2.5D還是3D的圖像作為算法的輸入。若采用2D，需明確肺結節選取的圖像層面，如中心層面，最大面積層面；明確算法所采用的神經網絡結構，如Residual Net，Dense-Net；明確算法訓練采用的損失函數，如交叉熵，Focal損失函數；損失函數等核心組件選擇和設計的原則、方法與風險考量，如肺結節大小尺度的差異，不同類別肺結節樣本的不均衡性、過擬合等；若肺結節分類采用多個模型融合，需明確不同模型訓練與推理的方式，以及模型融合的策略，如多數投票；最后，明確算法的流程圖，訓練與部署所采用的框架（如Tensorflow, Pytorch）、算法運行環境（如內存、顯存的需求）。

4.1.3肺結節測量算法

針對肺結節測量算法，明確測量原理（基于像素點數），測量實現的方式，如肺結節體積測量算法、密度值測量算法與長徑短徑測量算法可以通過肺結節分割技術來實現，也可以通過機器學習中的回歸方法來進行預測。測量內容包括長徑、短徑、體積、面積、平均HU值等，其中密度值測量算法需明確測量的類型，如平均值，標準差，最大值，最小值，中位數。

4.1.4肺結節肺葉肺段定位算法

肺結節肺葉肺段定位算法中，明確肺結節定位的類別，如左/右肺定位、肺葉定位、肺段定位。明確算法輸入的類型，如肺結節二維切片，肺結節三維圖像塊，若輸入類型為二維切片，明確二維切片選取標準（如肺結節長徑短徑交點所在切片、肺結節最大面積切片）。

肺結節肺葉肺段定位算法需明確實現的機理，如基于肺段分割算法實現解剖定位，基于圖像分類算法實現解剖定位。

若申報產品涉及上述多個算法，需提供算法整體流程圖，明確各個算法調用先后關系，以及輸入輸出依賴關系。

若使用遷移學習技術，除上述內容外還需補充預訓練模型的數據集構建、算法測試等資料。

4.2算法需求規范

算法功能需求建議關注數據庫需求、算法性能評價指標及制定依據、性能的擬定目標及制定依據。

4.2.1數據庫需求

算法性能評價需要基于訓練和測試數據庫，數據庫具體要求詳見附件2。

4.2.2算法性能評價指標

在指定肺結節檢出算法評估指標之前，需確定器械標記的位置和范圍和參考標準之間的匹配性，需明確標記匹配的方式，即算法標記目標與參考標準目標的匹配方式，常見的標記匹配方式有按照區域重疊的比例（面積、體積）、中心點的距離、中心是否落入來判斷標記是否匹配；還需明確聲稱的標記匹配的閾值。

明確算法任務，明確算法訓練和調優過程中不同任務的評估指標及定義。有關標記匹配方式與評估指標的定義可以參考“人工智能醫療器械肺部影像輔助分析軟件算法性能測試方法”5.1.1.1章節。明確不同任務的算法評價指標的定義、計算公式及確定依據、分層影響因素選擇依據，如肺結節診療中國專家共識、美國國立綜合癌癥網絡NCCN指南、 Fleischner協會指南、中華醫學會肺癌臨床診療指南等。

結節檢出指標包括不限于召回率、精確度、自由響應受試者操作特性曲線（FROC）。

結節分類指標包括不限于靈敏度、特異度、總體的Kappa系數、準確率。

結節分割指標包括不限于Dice系數、體積交并比、Hausdorff距離。

測量指標包括不限于相對誤差、**誤差、相對誤差**值的平均值。

提供文獻綜述論證評價指標選擇及分層影響因素選擇的合理性。分層分析的影響因素包括年齡、病變類型、大小、層厚、采集協議、性別、結節大小、結節密度、廠家、重建核、劑量、管電壓、管電流等重要變量。

算法質量特性包括泛化能力、魯棒性（對抗測試）、壓力測試、重復性、一致性、效率。

隨訪評估功能包括倍增時間、數值參數的百分比(%)和**變化，如結節長軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均HU等。

4.2.3算法性能測試基本要求

基于算法流程圖評價每個器械操作點的基于病例、基于肺結節、基于分層因素的性能指標，需包括訓練集、調優集、測試集的算法性能測試結果，需明確測試方法。所有性能指標均需具有相關置信區間，需提供關于估計置信區間以及與其相關的臨床顯著性的方法學描述，需提供FROC曲線圖及FROC置信區間（如適用）。

4.2.3.1結節檢出

需給出軟件檢出肺結節的召回率和精確度的閾值。測試產品定位準確程度時，只有真陽性檢出的結節，且位置正確的標記才能算作正確標記。

召回率和精確度的計算一般針對全體結節進行。在設置篩選條件后，可以使用篩選后的參考標準與篩選后的AI結果進行匹配。如篩選后假陽性結果難以定義，建議以召回率為主要指標，常見情形為：

-對具體某一種結節類型，計算結節的召回率。

-對平均直徑、長徑處于某一區間的結節，計算召回率

-對類型、尺寸范圍組合的結節，計算召回率。

4.2.3.2結節分類

明確分類場景，如二分類場景、多分類場景。對于二分類場景下的指標，如軟件能夠對A類型的肺結節進行分類，需給出準確率、靈敏度、特異性的閾值。總體的Kappa系數不低于N%；多分類問題可以轉化為二分類問題，按每一類進行描述。

4.2.3.3結節分割

如果產品在三維上進行結節分割，需給出算法可以達到的體積交并比或者DICE系數的閾值。如果產品只輸出最大層面的分割，則需給出算法可以達到的最大層面面積交并比或者DICE系數的閾值。測試集數據的平均交并比或者DICE系數的95%置信區間應大于等于該閾值。

4.2.3.4結節測量

需明確測量內容，如體積、密度、尺寸測量；需明確各測量內容的測量誤差。對于尺寸測量長徑小于等于10mm需增加平均直徑允差，大于10mm需增加短徑允差。

4.2.3.5結節肺葉肺段定位

結節肺葉肺段定位需明確定位的具體功能（如采用邊緣勾畫方法展示肺葉肺段分割結果、僅采用文字描述結節所處肺葉肺段），肺葉、肺段標記標簽分布（如左肺上葉尖后段、左肺上葉前段、右肺中葉外段……）、基于不同功能確定測試指標（如結節所處左右肺準確性、肺葉準確性、肺段準確性、肺葉肺段分割的DICE系數或其他合理指標）及測試指標的計算方法、參考標準建立的方法、測試流程。

測試產品定位準確程度時，只有真陽性檢出的結節，且位置正確的標記才能算作正確標記。

4.2.4樣本量

明確樣本量估計的公式、參數及制定依據。研究樣本應足夠大，以使聲稱的性能具有統計學顯著性，若有分層性能的聲稱，應確定子集的樣本量以檢測聲稱的統計學顯著性。

4.2.5測試方法

需明確測試方法及制定依據。

4.3數據質控

建議參考“人工智能醫療器械注冊審查指導原則”及“人工智能醫療器械質量要求和評價第2部分：數據集通用要求”。

4.3.1數據采集

需提供數據采集協議，需要考慮明確偏倚控制的方法，如通過各亞組設置進行偏移控制，不應為提高算法結果刻意篩選數據。采集數據的地區分布需覆蓋東西南北中地區。

明確數據庫信息（要求詳見附件2）

4.3.2數據整理

明確數據轉移保存的方法。明確數據納入排除標準，以及進行數據篩選的方法（人工清洗、自動清洗），提供數據整理軟件工具的研究資料。

提供數據清洗流程圖，明確清洗規則，例如確定數據合規性、圖像唯一性、層厚、層間距等信息滿足要求、連續性、完整性、已完成脫敏等并加以篩選。清洗結果明確棄用數據的數量和原因。明確預處理的操作步驟和內容。

4.3.3數據標注

數據標注建議參考“人工智能醫療器械質量要求和評價第3部分：數據標注通用要求”。

需明確標注任務分類（包括數據模態、執行主體、標注結果格式、標注結果性質、標注結果形式等維度），提供標注任務描述文檔（標注規則、標注人員、標注工具、標注環境、數據）。其中標注規則需明確制定依據并提供參考文獻。標注內容宜包括結節檢出、結節位置（肺葉、肺段、結節層面）、結節大小、結節密度、角度等。標注人員建議列表給出標注、審核、仲裁人員的基本信息，如數量、醫療機構、科室、工作年限、職稱、培訓、培訓考核情況、工作量、標注任務、人員類型（標注、審核、仲裁）。

標注與質控流程建議提供業務架構、過程組織（任務生成、任務分配、任務實施、質量控制、驗收準則及驗收報告）。其中業務架構宜采用流程圖介紹單例數據的標注、審核、仲裁過程。

明確標注是否基于另一器械的輸出、臨床檢驗(如病理檢測結果)、隨訪臨床成像檢查、除成像外的隨訪體檢、臨床醫生的解釋。

如標注工具、標注平臺使用人工智能算法進行輔助標注，需提交標注工具、標注平臺算法性能研究資料。

4.3.4數據集構建

依據《人工智能醫療器械注冊審查指導原則》指南明確訓練集、調優集、測試集的劃分方法、劃分依據、數據分配比例。

提供查重驗證結果，以證實訓練集、調優集、測試集的樣本兩兩無交集。

數據擴增需明確擴增的對象、范圍、方式（離線、在線）、方法（如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網絡等）、倍數、在線數據擴增記錄。

提供擴增數據庫與標注數據庫樣本量、樣本分布（注明擴增倍數）對比表，以證實擴增數據庫樣本量的充分性以及樣本分布的合理性。

如果采用生成對抗網絡進行數據擴增，應提供生成對抗網絡的算法基本信息以及算法選用依據資料。

4.4算法訓練

算法訓練需明確訓練過程所采用的優化器及其相關參數，如Adam，SGD；在算法訓練階段，需明確訓練集、調優集的劃分方式，如留出法，交叉驗證法；需明確訓練目標，即判斷何時停止訓練，如設定最大的訓練epoch數目，依據損失函數判斷損失穩定且不繼續下降，根據訓練epoch數量-評估指標曲線判斷評估指標不繼續提升等。當訓練停止后，明確訓練模型最佳epoch的選擇方法，如在留出法中，根據留出部分的調優集選取評價指標最優的epoch；在交叉驗證法中，計算多次隨機劃分調優集的評價指標平均值，選擇最優的epoch。同時，結合臨床需求（如靈敏度、精準度），明確算法出廠閾值的選擇與方法，并論證訓練所得模型是否滿足產品既定目標。算法出廠閾值的選擇需提供制定依據。

算法訓練階段需結合訓練數據量-評估指標曲線驗證算法訓練數據量的充分性。對于不同的訓練數據量，計算對應的評價指標。當評價指標為單一標量時（如靈敏度），訓練數據量-評估指標曲線的x軸為訓練數據的樣本量（如CT序列個數），y軸為在使用特定訓練量時，算法在測試集的評價指標。結合訓練數據量-評估指標曲線，判斷當訓練數據量有限時，評價指標是否隨數據量的增加而增加，并在數據量達到一定程度后，評價指標趨于平穩。當評價指標為曲線時，可考慮根據不同訓練數據量，繪制對應的評價指標曲線，判斷曲線下面積（AUC）是否先隨數據量的增加而增加，最后當數據量達到一定程度后趨于平穩。以FROC曲線為例，在評估訓練數據量的充分性時，當訓練數據量有限時，FROC曲線下面積需隨數據量增加而增加，FROC曲線逐步逼近坐標左上角；當訓練數據量達到一定程度后，FROC曲線下面積慢慢趨于穩定。

若訓練過程中采用了數據擴增的方式，需明確擴增方式，如離線數據擴增，在線數據擴增。同時，需明確數據擴增的方法以及相應的參數設置，如圖像平移，旋轉，縮放，彈性形變等。若訓練過程未采用數據擴增，需論證未進行數據擴增的理由。

4.5算法驗證與確認

明確臨床醫師操作點、不同算法任務的算法評價指標的閾值及確定依據。明確算法標記目標與參考標準的匹配方式和匹配閾值。

明確病例水平和結節水平計算方法及定義一個結節的處理方法及病例陽性的方法。在計算病例水平算法性能指標時，需要明確陽性以及陰性病例的定義，比如陽性病例是定義為包含肺結節的病例，還是定義為包含>4mm肺結節的病例。在計算結節水平算法性能指標時，需要明確檢出（真陽性）以及假陽性的定義，比如檢測框與參考標準重合率為多少時認為檢測框是真陽性，檢測框與金標準重合率的定義等。

區分算法任務制定具體測試方法和結果計算方法。建議參考《人工智能醫療器械肺部影像輔助分析軟件算法性能測試方法》。

基于算法的出廠閾值，明確算法在訓練集，調優集和測試集的召回率與精確度，通過比較三個數據集的性能來評估算法的泛化性。

對于肺結節檢出算法，需分層統計算法對于不同大小和不同密度的肺結節的檢出效能，可以通過FROC曲線，召回率以及精確度等指標來評價，同時結合臨床需求論述結果的合理性。在肺結節大小的維度來進行分層統計，如將肺結節分為4-5mm,5-8mm ，8-10mm以及10-30mm。一般而言，肺結節尺寸越大，檢出的難度越低。在肺結節密度維度，需明確是二分類還是多分類，需明確密度類型及制定依據，進行密度類型的分層統計。

除此之外，還需考慮性別、年齡、設備廠家、重建方式、層厚/層間距、管電流、管電壓、劑量(常規劑量、低劑量)、等因素對肺結節檢出算法效能的影響。需明確設備主流廠家，且必須符合DICOM 3.0協議標準數據；管電壓考慮70-140 kV，管電流考慮10-400 mA；層厚與層間距需不超過5mm；重建方式需考慮常見的肺算法與標準算法（軟組織算法）。

在亞組的分層統計中，肺結節檢出效能需在不同因素下均能取得較好性能。若在某些影響因素下，肺結節檢出效能存在差異，需進行合理地論證，并在說明書給出使用限制。

需提供算法性能測試報告，至少包括軟件環境、硬件環境、測試平臺描述（如適用）、測試集描述、算法性能指標的符合性分析（性能指標的定義、測試通過準則、統計分析）、算法錯誤統計。需包括算法性能及算法質量特性、隨訪功能測試結果。

4.6 算法性能綜合分析

結合算法訓練、算法性能評估、臨床評價等結果開展算法性能綜合評價，針對訓練樣本量和測試樣本量過少、測試結果明顯低于算法設計目標、算法性能變異度過大等情況，對產品的適用范圍、使用場景、核心功能進行必要限制。

需對算法測試產生的錯誤結果進行分析，評估算法在檢出、分類等任務中出現的假陽性、假陰性結果的含義與危險程度，形成定量報告。

5．用戶培訓方案

對于軟件安全性級別為嚴重級別的產品，原則上需單獨提供一份用戶培訓方案，包括用戶培訓的計劃、材料、方式、師資等。

用戶培訓需關注以下內容：預期用戶要求，如工作年限或執業資格；醫生必須對軟件結果進行確認，軟件只用于輔助檢測，不能替代醫生。CT圖像要求，如嚴重呼吸、金屬偽影或有掃描質量問題的CT圖像慎用；基于臨床試驗驗證，不宜使用該軟件的疾病；

（四）產品說明書和標簽樣稿

說明書、標簽和包裝標識需符合《醫療器械說明書和標簽管理規定》和《醫療器械軟件注冊審查指導原則（2022年修訂版）》、《醫療器械網絡安全注冊審查指導原則（2022年修訂版）》、《人工智能醫療器械注冊審查指導原則》和相關標準的規定。

說明書內容需重點關注：

1.用戶說明

對預期用戶和推薦用戶培訓的詳細說明。如，預期用戶工作年限或執業資格要求，且需經培訓合格。

2.使用限制

若產品采用人工智能黑盒算法，需根據算法影響因素分析報告，在說明書中明確產品使用限制和必要警示提示信息。

示例：不應僅僅依靠本器械所標識的輸出，應由專業醫師對結果進行解釋。

已發現該器械對于XX的受檢者無效。具有這種疾病/病癥/異常的受檢者不應使用該器械。

對訓練數據、測試數據與臨床試驗的算法性能評估結果不佳，數據量偏少的，此類受檢者使用該器械，應由專業醫師結合受檢者的病史、癥狀、體征、其他檢查結果情況綜合給出最終的肺結節檢出結論，核實是否需要進一步診療的決策，并對臨床診斷結果負責。

3.注意事項

測量準確性（如圖像長度、CT值平均值、最大值、最小值、面積值、體積、密度、位置坐標）、測量功能警示信息，如體積測量是基于體素個數的圖形學測量，并不能完全反映人體真實的體積，測量體積僅供醫生參考。

CT圖像質量要求，如嚴重呼吸、金屬偽影或有掃描質量問題的CT圖像慎用；圖像序列未完整包含肺臟全部組織的圖像數據禁用。

醫生必須對軟件結果進行確認，軟件只用于輔助檢測，不能替代醫生。原始的AI結果應保留，確保軟件結果的可追溯性與可責性。

4.預防措施

需明確與器械使用相關的不良事件，并提供緩解措施建議。不良事件討論需至少包括對假陽性事件和假陰性事件的不良事件的討論。

5.器械描述

需提供以下內容：

-算法設計和功能的概述

-特殊聲稱（如用于小于4mm結節檢測）

-研發和調整算法中所用的受檢者數據的參考標準的描述

-與本器械兼容的采集技術

-適當顯示器械標記的要求

-軟件輸出報告及界面數據圖示

6.軟件

需明確軟件發布版本、提供網絡安全說明和使用指導，明確用戶訪問控制機制、電子接口（含網絡接口、電子數據交換接口）及其數據類型和技術特征、網絡安全特征配置、數據備份與災難恢復、運行環境（含硬件配置、外部軟件環境、網絡環境，若適用）、安全軟件兼容性列表（若適用）、外部軟件環境與安全軟件更新（若適用）、現成軟件清單（SBOM，若適用）等要求。

7.產品接口和聯合使用設備

需明確對配合使用的圖像工作站和PACS適當顯示器械標記的要求（如適用）。

需明確CT設備兼容（廠家、型號（如適用）、層數）與掃描參數要求（如層厚、層間距、重建方式、管電壓、管電流、劑量（常規劑量、低劑量））。

8.算法訓練總結

訓練方法概述、開發數據庫基本信息、訓練指標與結果、調優指標及結果。

9.算法性能評估總結

-算法輸入與輸出

-測試集基本信息

-用于確定器械標記的每個區域的性質的評分標準

-每個可用器械操作點的總體敏感度和假陽性率指標

-分層分析（如，根據病變大小、病變類型、采集參數、成像或數據特征）

-獨立FROC性能（如適用），需和操作特性曲線一起說明。

-測試結果

10.臨床試驗總結

需包括臨床試驗設計基本類型、研究對象（受試者及閱片者情況）、評價指標，金標準、對收集臨床信息方法的描述、統計方法描述、樣本量，臨床試驗結果（含各結節尺寸、各密度類型結節情況）。

11.公開數據庫及測試結果（如有）

12.第三方測評數據庫及測試結果（如有）

13.輔助決策指標定義（或提供決策指標定義所依據的臨床指南、專家共識等參考文獻）等信息。如結節大小、結節密度類型的定義、低劑量/常規劑量的定義、分層依據。

三、參考文獻

[1]《醫療器械注冊與備案管理辦法》（國家市場監督管理總局令第47號）[Z].

[2]《醫療器械說明書和標簽管理規定》（國家食品藥品監督管理總局令第6號）[Z].

[3]《醫療器械注冊申報資料要求和批準證明文件格式》（國家藥品監督管理局2021年第121號）[Z].

[4]《醫療器械通用名稱命名指導原則》（國家藥品監督管理局2019年第99號）[Z].

[5]《醫療器械產品技術要求編寫指導原則》（國家藥品監督管理局2022年第8號）[Z].

[6]《醫療器械軟件注冊審查指導原則（2022年修訂版）》（國家藥品監督管理局醫療器械技術審評中心2022年第9號）[Z].

[7]《人工智能醫療器械注冊審查指導原則》(國家藥品監督管理局醫療器械技術審評中心2022年第8號)[Z].

[8] 《人工智能類醫用軟件產品分類界定指導原則》（國家藥品監督管理局2021年第47號）[Z].

[9] YY/T 0316-2016，《醫療器械風險管理對醫療器械的應用》[S].

[10] YY/T 1833.1，《人工智能醫療器械質量要求和評價第1部分：術語》（報批稿） [S].

[11] YY/T 1833.2，《人工智能醫療器械質量要求和評價第2部分：數據集通用要求》（報批稿） [S].

[12]YY/T 1833.3，《人工智能醫療器械質量要求和評價第3部分：數據標注通用要求》（報批稿） [S].

[13] YY/T XXXX，《人工智能醫療器械肺部影像輔助分析軟件算法性能測試方法》（報批稿） [S].

[14]AIMDICP-WG6-2020-002，《基于胸部CT的肺結節影像輔助決策產品性能指標和測試方法》[S].

[15] FDA. Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data- Premarket Notification[510(k)] Submissions [EB/OL]https://www.fda.gov/media/77635/download. 2012-07-03/2022-3-8.

[16] FDA. Clinical Performance Assessment: Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data in-Premarket Notification [510(k)] Submissions [EB/OL] https://www.fda.gov/media/77642/download 2020-1-22/2022-3-8.

[17] 胸部CT肺結節數據集構建及質量控制專家共識[J].中華放射學雜志,2021,55(02):104-110.

[18]胸部CT肺結節數據標注與質量控制專家共識(2018)[J].中華放射學雜志,2019(01):9-15.

[19] 周清華,范亞光,王穎,喬友林,王貴齊,黃云超,王新允,吳寧,張國楨,鄭向鵬,步宏.中國肺部結節分類、診斷與治療指南(2016年版)[J].中國肺癌雜志,2016,19(12):793-798.

[20] 赫捷,李霓,陳萬青,吳寧,沈洪兵,江宇,李江,王飛,田金徽,中國肺癌篩查與早診早治指南制定顧問組,中國肺癌篩查與早診早治指南制定專家組,中國肺癌篩查與早診早治指南制定工作組.中國肺癌篩查與早診早治指南(2021,北京)[J].中國綜合臨床,2021,37(03):193-207.

[21] 劉士遠.肺亞實性結節影像處理專家共識[J].中華放射學雜志,2015,49(04):254-258.

[22] 中國肺結節病診斷和治療專家共識[J].中華結核和呼吸雜志,2019(09):685-693.

[23] Bankier Alexander A,MacMahon Heber,Goo Jin Mo,Rubin Geoffrey D,Schaefer-Prokop Cornelia M,Naidich David P. Recommendations for Measuring Pulmonary Nodules at CT: A Statement from the Fleischner Society.[J]. Radiology,2017,285(2).

[24] Bai, C., Choi, C.-M., Chu, C. M., Anantham, D., Chung-man Ho, J., Khan, A. Z., … Yim, A. (2016). Evaluation of Pulmonary Nodules. Chest, 150(4), 877–893.

[25] Deterbeck FC, Mazzone PJ, Naidich DP, et al. Screening for lung cancer:Diagnosis and management of lung cancer, 3rd ed: American College of Chest Physicians evidence-based clinical practice guidelines. Chest, 2013,143(5 Suppl): e78S- e92S.

附件：1.風險管理文檔

2.數據庫（集）

附件1

風險管理文檔

下表所列為常見可預見事件序列／可能的傷害示例，需關注：

表2 常見可預見事件序列／可能的傷害示例

危險	可預見事件序列	可能的傷害
信息危險	算法對肺結節直徑測量給出過高或過低的結果	導致用戶對肺結節的主觀判斷產生誤導
	算法對肺結節的位置存在錯誤的判定	導致用戶對肺結節的主觀判斷產生誤導
	算法對肺結節密度類型存在分類錯誤	導致用戶對肺結節的主觀判斷產生誤導
	未按規定編制產品說明書，使用說明不明確	導致軟件無法正常使用并對用戶造成不便
	界面實用性差	導致誤操作
	無法正常顯示醫學圖像，或圖像失真	導致軟件無法正常使用并對用戶造成不便
	菜單設置不實用	導致誤操作
	圖像信息丟失或損壞	延誤治療
	軟件不兼容導致產品無法正常運行	對用戶造成不便
	AI模型失效導致無法進行圖像識別	對用戶造成不便
	服務器和客戶端之間無法正常傳輸數據	軟件無法正常使用并對用戶造成不便
	算法給出的肺結節檢出結果存在假陽性結果	過度診斷
	算法對真陽性肺結節存在漏檢	延誤診斷
操作危險	算法無法對接收到的CT圖像進行處理分析	導致軟件無法正常使用并對用戶造成不便
	無法與相關設備或系統進行通訊連接	導致軟件無法正常使用并對用戶造成不便
	軟件設計缺陷，可能軟件死機或軟件自動退出	導致軟件無法正常使用并對用戶造成不便
	算法被未經培訓的用戶、使用不熟練的用戶、或非專業用戶使用并完成主觀診斷	導致肺結節的過度診斷或延誤診斷
	算法對接收到的CT圖像進行處理分析的時間過長	導致軟件無法正常使用并對用戶造成不便