AIオブザーバビリティ
AIオブザーバビリティとは、AIシステムがどの入力で、どの情報を参照し、どのモデル・ツールを使い、どんな出力や失敗を生んだかを後から追えるようにする考え方です。
観測する主な項目
| 項目 | 見る理由 |
|---|---|
| 入力・プロンプト | 失敗した依頼や禁止すべき入力を確認する |
| 検索結果・根拠 | RAGで誤った文書を参照していないか見る |
| モデル・設定 | 品質変化や費用変化の原因を切り分ける |
| 出力・評価 | 誤回答、禁止表現、根拠不足を検出する |
| ツール実行 | 誰が何を許可し、どのシステムへ影響したか追う |
通常の監視との違い
従来の監視は、サーバーのCPU、エラー率、応答時間などを中心に見ます。AIではそれに加えて、回答の正確性、根拠の妥当性、プロンプトインジェクションの兆候、トークン費用、モデル更新による品質差を見ます。
導入する目的
- 誤回答が出たときに原因を再現する
- モデル変更やプロンプト変更の効果を比較する
- 機密情報の入力・出力を検知する
- 過剰な自動実行や異常なツール利用を止める
- 部門別の利用量、費用、成功率を把握する
記録時の注意
ログを残すほど原因調査はしやすくなりますが、個人情報や機密情報を過剰に保存すると別のリスクになります。保存する項目、マスキング、保存期間、閲覧権限を決めておきます。
評価指標の例
- 正答率、根拠一致率、再回答率
- 拒否すべき入力を止めた割合
- 利用者が人へ差し戻した割合
- 1件あたりの費用、処理時間、失敗率
- 外部ツール実行の承認率と取消件数
AIオブザーバビリティは、AIを一度導入して終わりにしないための仕組みです。NIST AI RMFが示すように、AIリスクはライフサイクル全体で継続的に管理します。
参考情報
最終確認日: 2026年7月28日
スポンサーリンク