AIエージェントの暴走
AIエージェントの暴走とは、AIがこちらの想定より広く動いてしまう事態を指します。
別表記：AIの暴走／暴走／意図しない動作／Runaway Agent
よくある誤解：AIが反乱を起こすのか
意思を持って人間に逆らう、という意味ではありません。起きているのは、指示を素直に受け取ったAIが、言われなかった前提を補わずに実行してしまう、というだけのことです。
人間の部下なら「これは消していいんでしたっけ」と聞くところを、AIは黙って実行します。
実際に起こりうること
- 資料の整理を任せたら、必要なファイルまで消えていた
- 問い合わせ対応を任せたら、社内限りの情報が社外に出ていた
- 社内の検索を任せたら、閲覧権限のない人事情報まで読み出してきた
- 条件の設定を誤って、同じ処理を何百件も実行した
どれも外部から攻撃を受けた話ではなく、正規の権限を持ったAIが正規の手順で実行した結果として起こります。
なぜなくせないのか
指示が自然言語で与えられるため、解釈の幅が残ります。処理の途中で読み込んだ情報に影響されることもあります。複数のAIが連鎖するなかで、範囲が変わっていくこともあります。
いずれも実装の粗さではなく、仕組みの性質から出てくるものです。精度の高いAIに変えれば解決する、という話ではありません。
対策の方向
「起こさない」ではなく「起きても被害が広がらないようにする」になります。
実行できる範囲を事前に限定し、期限を切り、何を根拠に実行したのかを記録に残す。とくに、削除と社外への送信という取り消せない操作を権限から外しておくと、被害の大部分は防げます。
