這個 AI，適合你的用途嗎？
先定義預定用途與驗收標準。資料齊全，內容仍可能有誤；輸入條件改變，模型表現也可能不同。從檢查結果一路追溯到決定的依據。
先了解輸入的數據。
缺漏只是其中一個問題。採信模型結果前，先檢查有效性、一致性與洩漏風險。選擇一個維度，細看資料概況。
- 資料完整性: 88/100
- 完整度: 91/100
- 有效性: 28/100
- 一致性: 22/100
- 唯一性: 84/100
- 代表性: 76/100
- 洩漏風險: 90/100
- 冗餘: 82/100
資料完整性 · 88/100 · 通過
改變條件，細看差異。
建立基準，改變測試條件，再比較不同群組的結果。保留預測集，日後重新評分時便不必再次執行推論。
模型能處理你實際使用的資料嗎？
加入更具挑戰的情況前，先建立模型的基準表現。
原始輸入
基準測試
使用條件變差時，表現有甚麼變化？
比較同一個視覺輸入，在原始及模擬濃霧下的差異。
原始輸入
模擬濃霧
平均分數有否掩蓋群組之間的差距？
把評估資料分成群組，再比較各組的結果。
群組 A
群組 B
模型依靠甚麼作出預測？
比較原始輸入與局部遮罩，了解該區域對預測的影響。
原始輸入
局部遮罩
為每個發現安排下一步。
把發現連結至相關風險、應對措施與負責人，並保留支持該項回應的證據。
AI 管理未有指定負責人
等級: 高 · 固有
發現
記錄受影響的群組，以及揭示差距的測試。
行動
指定負責人、記錄處理方法，並商定重新測試的時間。
證據
連結測試結果與來源紀錄，讓決定日後可以覆核。
不同群組的公平性出現變化
等級: 中 · 已緩解
發現
記錄受影響的群組，以及揭示差距的測試。
行動
指定負責人、記錄處理方法，並商定重新測試的時間。
證據
連結測試結果與來源紀錄，讓決定日後可以覆核。
缺少評估紀錄
等級: 中 · 剩餘
發現
記錄受影響的群組，以及揭示差距的測試。
行動
指定負責人、記錄處理方法，並商定重新測試的時間。
證據
連結測試結果與來源紀錄，讓決定日後可以覆核。
容易受受損資料影響
等級: 低 · 已緩解
發現
記錄受影響的群組，以及揭示差距的測試。
行動
指定負責人、記錄處理方法，並商定重新測試的時間。
證據
連結測試結果與來源紀錄，讓決定日後可以覆核。
讓決定經得起回顧。
在同一份評估中，串聯預定用途、風險、控制措施與已審閱的證據，記錄決定、附帶條件及尚未解決的缺口。
讓推理與結果一起保留。
記錄 AI 系統要做什麼、哪裡可能出錯、如何檢查，並把這些連結到每項決定，讓推理過程日後可查。
用途
定義預期用途、適用範圍與驗收標準。
範圍
評估
測試資料與模型，留下支撐結果的證據。
證據
決策
檢視發現，記錄決定、適用條件與下一步行動。
條件
覆核
當系統、資料或證據改變時，重新審視判斷。
變化
探索標準與方法。
了解每項標準需要準備甚麼，以及每種測試方法能回答哪些問題。
你可能想問的。
Knotest 是甚麼？
Knotest 是 HephaKnot 為開發或採購 AI 的團隊打造的評估平台，串聯預定用途、資料檢查、模型測試、風險與證據，讓覆核者了解決定的依據。
如何取得使用資格？
留下電郵地址，加入等候名單。你也可以回覆確認電郵，告訴我們你的需求。
產品導覽展示甚麼？
從整理數據與設定測試條件，到比較模型結果、追蹤風險及保留證據，查看評估流程中的各個環節。
Knotest 會認證合規嗎？
Knotest 協助你準備並保留證據。審核、認證及法律結論仍由你的審核員、認可機構與法律顧問負責。
在哪裡探索標準與方法？
目錄列出標準與測試方法，每個項目均說明其範圍。如有尚未列出的需求，加入等候名單時告訴我們。