AI Agent 能查資料、整理報告,也能呼叫工具執行工作。當企業準備讓它接觸內部知識、客戶資料或正式系統時,還需要確認:它可以做什麼、何時必須停下來,以及誰來驗證結果。
IGRIST 建議,把任務、權限、驗收與營運條件一起納入第一版設計。 模型與工具可以隨需求調整;企業對資料、操作與交付的責任,也需要有明確安排。
以下七個問題,可作為需求討論與上線審查的起點。文中的 IT 告警調查是設計情境示例,不代表特定產品已具備全部能力,也不是客戶成功案例。
一、它要完成哪一段工作?
「協助 IT 維運」涵蓋的範圍很大,難以直接開發或驗收。可以先縮小為:針對指定系統、指定時段的延遲告警,整理監測資料、比對核准文件,交付有來源的調查摘要。
這項任務需要說清楚誰會使用、輸入從哪裡來、產出交給誰,以及哪些事情不在範圍內。例如第一版只協助診斷,不調整正式環境設定。
也要確認是否需要 Agent 自行選擇步驟。固定的資料整理與核對工作,可以先用既定流程完成;需要依中途觀察改變調查方向的部分,再評估自主規劃。Anthropic 的架構指引也建議從能滿足需求的簡單方案開始。
上線前應備妥:一頁任務說明,列出使用者、範圍、交付物、禁止事項與負責人。
二、怎樣才算真正完成?
Agent 回答「已完成調查」,接下來仍要檢查交付內容。報告中的觀察是否有來源?假設是否和事實分開?資料不足時,有沒有指出仍待確認的問題?
建議分開檢查三件事:
回答品質:內容正確、來源適用,能支持使用者判斷。
操作正確:工具用在正確目標,參數與權限符合要求。
任務結果:事先約定的交付條件確實成立。
診斷報告合格,不等於服務已恢復。若任務目標是改善營運指標,就要另外查核目標系統與實際結果。Anthropic 的 Agent 評測說明也將執行紀錄與環境中的最終結果分開看待。
上線前應備妥:可重複使用的驗收案例,包含正常、缺資料、無權操作與工具故障等情境。
三、它可以使用哪些資料?
企業知識需要保留適用條件。相似的問題,可能發生在不同版本、不同部門或不同環境;過去有效的處理方式,也可能已被新制度或新設定取代。
在讓 Agent 取得資料前,應先釐清:
資料來源、版本與更新時間是否可辨識?
目前使用者是否有權讀取?
文件撤回或權限變更後,檢索與快取是否同步處理?
哪些內容可以傳送給外部模型或工具?
對告警調查而言,舊案例可以提供查核方向,但仍要確認系統版本、觀察時段與工作負載是否相符。知識庫中的相似答案,需要經過適用性判斷才能成為建議。
上線前應備妥:資料來源清單,標明擁有者、使用範圍、更新與撤回方式。
四、它可以自行做到哪一步?
讀取監測摘要、產生調查建議、建立工單與修改正式設定,影響程度不同。企業可以依任務需要開放能力,並將高影響操作保留給明確的審批流程。
例如,診斷 Agent 可以在核准範圍內查詢資料;若建議變更正式設定,則另外提出變更計畫,說明目標、差異、影響與驗證方式,再由負責人決定。
權限要在工具執行前由系統檢查。核准也應對應到實際目標與參數,避免批准測試環境的操作,最後卻作用在正式環境。OWASP 的 Agent 安全指引對最小權限、執行層授權及人工監督提供了實作建議。
上線前應備妥:允許操作、需審批操作與禁止操作的清單,以及有權核准的人員。
五、出錯、中斷或取消時,誰來接手?
工具逾時時,系統可能尚未執行,也可能已完成但回覆遺失。例如建立工單的請求沒有收到回應,直接重送就可能產生第二張工單。AWS 的安全重試設計文章說明了這類不確定性與重複操作問題。
因此,任務需要保存進度,區分已完成、未完成與結果待確認的步驟。能查核原操作時,先確認結果;無法確認時,保留待確認狀態並交接,避免在未知情況下持續嘗試。
也要約定重試次數、等待時間與停止條件。使用者取消後,畫面應能交代哪些工作已停止、哪些操作已發生,以及哪些仍需人工確認。
上線前應備妥:失敗處理與交接方式,寫清楚誰接收、接收哪些證據,以及如何停止後續工作。
六、出了問題,能查清楚發生什麼事嗎?
當同一個問題在改版後得到不同結論,團隊需要知道使用了哪個模型、哪一版指令、哪些資料與工具。若涉及變更,也要能查到核准、操作回執與結果驗證。
可以用一筆任務做簡單演練:請一位沒有參與開發的同事,找出任務目標、採用證據、執行動作、未完成事項與後續負責人。如果需要原開發者口頭補充才能理解,紀錄還不夠支援交接。
記錄範圍也要受控。憑證不應進入日誌;敏感原文應依需要保存,並設定存取權與期限。企業需要留下足以查核的證據,同時管理保存這些資料帶來的責任。
上線前應備妥:任務紀錄與查核方式,確保技術、營運及必要的審查人員能依權限取得資訊。
七、完成一次任務,要花多少成本?
一次任務可能包含資料檢索、多次模型呼叫、工具使用、重試、人工審閱與修正。IGRIST 建議,將這些成本一起納入比較,觀察每個經驗證完成的任務用了多少資源。
每個驗證完成任務的平均成本=同一期間相關任務總成本 ÷ 驗證完成任務數。
分子應包含失敗與人工處理的成本;不同難度的任務則分開比較。再對照原有流程的處理時間、等待、錯誤與維護費用,才能判斷導入是否值得。
費用與時間限制也應在執行過程中生效,例如達到查詢次數或預算上限就停止、要求調整範圍,或交給人工處理。這能讓企業在擴大使用前,先理解每次任務的資源需求。
上線前應備妥:成本與耗時基線,以及單次任務可接受的資源上限。
從一個可驗收的任務開始
第一版可以先限定使用者、資料範圍與交付物,完成離線測試,再於受控範圍內試用。每次更換模型、工具或資料來源,都重新檢查相關案例,並將實際失敗納入後續測試。
小團隊可以由同一個人兼任多項職責,但仍要分清楚誰決定需求、誰驗收、誰批准操作,以及誰接手營運。若暫時沒有專職 AI 主管,也應指定能協調這些決策的負責人。
IGRIST 的建議是:從清楚的任務出發,把資料、權限與驗證一起做好,再依實際結果擴大應用。 這樣的起點,也更容易讓軟體產品、專業知識與既有企業系統接上日常工作。
正在評估企業 AI 應用?歡迎與 IGRIST 討論目前的工作流程、資料條件與導入目標,一起確認適合的產品或合作方式。
參考資料
資料查核日期:2026 年 10 月 23 日。本文七問為 IGRIST 整理的設計檢核切角,實際上線條件應依任務影響與企業環境訂定。