企業で生成AIを活用するうえで、「間違ったコンテキスト（文脈）」は、単なる精度の問題にとどまらず、深刻なセキュリティリスクになりつつある。モデルの安全対策だけでは不十分であり、AIが参照する現実そのもの──どの情報源を信頼し、どの事実を正とみなすのか──を統制する「コンテキスト完全性」の重要性が高まっている。
企業AIに新たに浮上した「誤った現実」というリスク
OWASP Top 10 が示した従来のLLMリスク
これまで大規模言語モデル（LLM）のセキュリティといえば、OWASP Top 10 for LLM Applications に代表されるように、プロンプトインジェクションや過剰な自律性（エージェンシー）、学習データの汚染（データポイズニング）といったモデルやインタフェース側のリスクが中心だった。これにより企業は、LLM特有の脆弱性を把握し、ガードレールやアクセス制御などの対策を進めてきた。
「モデルは正しく推論しても結果が間違う」新たな問題
しかし、エンタープライズAIの普及に伴い、別の問いが浮上している。それは「モデルがそもそも間違った現実を見ていたらどうなるのか」という問題だ。AIはリポジトリ、チケット、ドキュメント、図表、ランブック、社内ポリシーといった多様な情報源をもとに回答を構築する。もしこれらのコンテキストが古い、矛盾している、不完全である、権限外の情報を含む、あるいは信頼できないものであれば、モデルは論理的には正しく推論していても、結論そのものが誤ってしまう。
「精度の問題」から「セキュリティ問題」への変質
こうした誤ったコンテキストは、一見すると回答品質やユーザー体験の問題に見えるかもしれない。だが、実際には権限のないデータへのアクセスや、誤った運用手順の自動実行、コンプライアンス違反の助長など、ビジネスとセキュリティの両面で重大な影響を引き起こす可能性がある。つまり、「悪いコンテキスト」はもはや精度の課題ではなく、組織全体を揺るがすセキュリティ課題になりつつある。
なぜコンテキスト完全性が企業AIガバナンスの要になるのか
コンテキスト完全性とは何か
コンテキスト完全性とは、AIが参照する情報が、最新で、矛盾がなく、権限管理が適切に行われ、かつ権威ある情報源に基づいている状態を指す。モデルがどれだけ高性能でも、与えられる現実が歪んでいれば、安全で正確な出力は期待できない。逆に言えば、AIを「真実に基づいて推論させる」ための前提条件がコンテキスト完全性である。
ガバナンスの対象は「モデル」だけではない
現在、多くの企業がAIガバナンスの一環として、モデル選定やプロンプト設計、出力フィルタリングなどのコントロールを整備し始めている。しかし、これだけでは不十分だ。今後は、AIに提示する現実そのもの、すなわち「どの情報源を信頼するのか」「どの権限でどのデータにアクセスできるのか」「どの事実が最新で、どの制約が公式なのか」といった点を、組織として定義・運用しなければならない。
「信頼できる現実」をどう設計するか
コンテキスト完全性を高めるには、情報源の信頼性評価、アクセス権限の厳格な適用、変更履歴の管理、非公式ドキュメントの扱い方など、従来の情報ガバナンスとAI固有の要件を組み合わせた設計が必要になる。特にエージェント型AIが自律的にタスクを実行する環境では、誤ったコンテキストが自動オペレーションを通じて現実世界のシステムに影響を与えるリスクが高まるため、その重要性はさらに大きい。
セキュアなAI活用に向けた企業の実務的な視点
AIに提示する情報源を「選別」する発想
今後の企業AI戦略では、モデルをどう使うかだけでなく、「モデルが何を見ているのか」を設計・監査する視点が欠かせない。例えば、以下のような観点で、参照させる情報源を選別することが求められる。
- 公式ドキュメントと非公式メモを明確に区別し、優先度を定義する
- 古い手順書や廃止済みポリシーを自動的に除外・アーカイブする仕組みを整える
- ユーザーやロールごとに、参照可能なコンテキストを権限ベースで制御する
- 重要な事実や制約については、「権威ある情報源」を明示して紐づける
セキュリティチームとAI開発チームの連携強化
コンテキスト完全性を担保するには、セキュリティチーム、データガバナンス担当、AI開発・運用チームが連携し、情報源の登録ルールやレビュー体制、権限モデルを共通の枠組みとして整備する必要がある。AIセキュリティは、もはやモデルだけの問題ではなく、組織の情報基盤全体の設計と運用の問題へと拡張している。
「真実から推論するエージェント」を実現するには
エンタープライズAIを安全に活用する最終的な目標は、エージェントが「真実に基づいて推論する」状態をいかに維持できるかにある。これは、単に誤りを減らす取り組みにとどまらず、誤情報や権限外情報からエージェントを守る意味での「セキュリティ対策」でもある。そのために、組織はコンテキスト完全性をAIガバナンスの中核テーマとして位置づける必要がある。
一次情報・参考リンク
まとめ
LLMの安全性は、もはやモデルの中だけでは完結しない。誤ったコンテキストは、回答精度の低下にとどまらず、セキュリティインシデントやビジネスリスクを引き起こす要因となる。企業は、どの情報源を信頼し、どの事実を正とみなすのかを定義・統制する「コンテキスト完全性」をAIガバナンスの重要テーマとして位置づけ、エージェントが真実から推論できる環境を整えることが求められている。
