最新ビジネス用語辞典

ガードレールを置く5つの層

層	制御例	防ぎたいこと
入力	個人情報検知、長さ制限、用途外依頼の拒否	秘密情報の入力、不正な指示
検索・データ	アクセス権、正本限定、引用表示	権限外参照、古い情報の利用
ツール実行	許可リスト、金額上限、送信前承認	誤送信、削除、過大な操作
出力	形式検証、根拠照合、機密・有害内容の検査	誤回答、情報漏えい、不適切表現
監視	ログ、異常検知、停止、インシデント対応	継続的な誤作動、見逃し

利用ルール・ガバナンスとの違い

• 利用ルール：利用者が入力してよい情報や確認手順を定める。
• AIガードレール：システムや運用が許可・拒否・保留・停止を実行する。
• AIガバナンス：誰が基準を決め、例外を承認し、事故や変化に応じて更新するかを管理する。

三つは代替関係ではありません。ルールで禁止しても入力を技術的に検知できなければ事故は起こり、フィルターを設けても例外と責任者が不明なら運用が止まります。

ガードレールが破られる主な理由

• 表記を変える、多言語にする、画像へ埋め込むと検知できない
• 一つずつは安全な操作でも、連続すると大きな権限行使になる
• 正当な依頼を拒否する誤検知が多く、利用者が制御を迂回する
• モデル、データ、接続ツールの更新後に評価していない
• 検知した後の停止・通知・復旧手順がない

設計の順序

1. 用途を限定する：対象者、入力、出力、許可する操作を決める。
2. 失敗を列挙する：誤回答、漏えい、偏り、過剰操作、停止不能を洗い出す。
3. 層ごとに制御する：一つのモデル判定だけに依存しない。
4. 合格条件を作る：拒否すべき例と通すべき例の両方で試す。
5. 本番で監視する：指標、停止基準、責任者、再開条件を決める。

評価する指標

指標	確認すること
防止率	危険な入力・操作・出力を止められた割合
誤拒否率	正当な業務を誤って止めた割合
検知時間	異常発生から通知・停止までの時間
復旧時間	原因確認、是正、再開までの時間
迂回耐性	言い換え、多言語、連続操作でも機能するか

NISTのAI RMFは、AIリスクを組織として継続管理するための枠組みです。2026年公開のOWASP AISVSも、AIシステムのライフサイクル全体でセキュリティを検証する観点を示しています。ガードレールは一度設定して終わりにせず、モデル・データ・脅威・業務の変化に合わせて再評価します。

人へ引き継ぐ条件

本人確認、契約、採用、支払い、健康・安全、権利に影響する判断では、AIが「判断できない」と返せることが重要です。信頼度が低い、根拠がない、上限を超える、異常が続く場合は処理を止め、必要な情報とログを人へ渡します。

参考情報

• NIST AI Risk Management Framework
• OWASP AI Security Verification Standard

最終確認日: 2026年7月27日