AIエージェントの暴走を防ぐ承認フロー、中小企業の最低限

なぜ「賢さ」より「止める場所」が先なのか

AIエージェントは、メールを送る、予約表を書き換える、商品ページを更新するなど、自分で手を動かすAIです。便利な反面、指示のあいまいさや読み違いで、意図しない操作を重ねてしまうことがあります。これがいわゆる「暴走」です。

監査部門のない中小企業では、AIの精度を上げ続けるより、人が止められる場所を先に決めるほうが現実的です。事故の多くはAIの能力不足ではなく、「どこまで任せたか」が曖昧なまま動かしたことから起きます。

判断の軸は「やり直せるか」と「外に出るか」

承認フローというと、全部の操作に確認をはさむ仕組みを想像しがちです。しかし毎回確認させると担当者が内容を見ずに「OK」を押すようになり、形だけの承認になります。現場でよくある判断ミスです。

そこで操作を2つの軸で仕分けます。

「やり直せない」かつ「外に届く」操作だけは、AIに実行ボタンを持たせません。下書きまでをAIが行い、送信は人が押す形にします。

道の駅の現場に置き換えると

たとえば道の駅の直売所で、AIエージェントに在庫管理と商品ページの更新を任せるとします。

• 売れ筋の集計や欠品リストの作成：自動でよい
• 「入荷しました」の商品ページ更新：担当者が1回確認
• 価格の変更、観光客向けの一斉メール、SNSの公開投稿：人が実行

新潟の6次産業では、米や加工品の産地表示、アレルゲン表示、賞味期限といった情報が商品ページに載ります。ここをAIが読み違えて公開すると、信用に関わります。「表示に関わる項目は必ず人が見る」と決めておくだけで、大きな事故の入口を塞げます。

最低限そろえる4つの仕組み

1. 権限を絞る：AIには読み取り専用から始め、必要な操作だけ許可を足す。
2. 下書きと実行を分ける：AIは下書きまで、実行は人。
3. 記録を残す：AIが何をしたか、後から見返せるログを残す。
4. 止め方を決める：おかしいと思ったとき、誰がどう止めるかを1行で書いておく。

特に4つ目が抜けやすいところです。繁忙期の土日に異変があっても、誰も止め方を知らないという場面は珍しくありません。連絡先と停止手順を紙1枚にして、レジ裏に貼っておくのが確実です。

記録の見方：週1回、10分だけ

ログは残すだけでは役に立ちません。毎週金曜の閉店後など時間を決め、責任者が10分で次の3点を見ます。

1. AIが実行した操作の件数は、先週と比べて極端に増減していないか
2. 承認画面で「却下」や「修正」が何件あったか
3. 想定していない種類の操作が混じっていないか

たとえば「却下がゼロ」が続くなら、AIが完璧というより、承認が形だけになっている疑いがあります。その場合は承認の対象を絞り、本当に見るべき操作に集中させます。

自動にしてよいか迷ったときの分かれ目

判断に迷う操作は、「間違えたとき、お客様に謝罪や訂正の連絡が必要になるか」で分けます。必要になるならA：承認を残す。社内で直して終わるならB：自動にして、週1回のログ確認で見守る。この基準なら、現場の担当者でも迷わず仕分けられます。

つまずきやすい点

承認者を「社長ひとり」にすると、忙しい時期に承認が溜まり、現場が承認なしで回し始めます。承認は操作の種類ごとに、現場の担当者と責任者に分けておくと回ります。また最初から広く任せず、1つの業務で1か月試し、ログを見て範囲を広げるほうが安全です。

明日やれる一歩

明日は、AIに任せたい業務を3つ書き出し、それぞれの操作を上の表の4マスに当てはめてみてください。「やり直せない×外に届く」に入った操作が、人が実行を担当すべきものです。これだけで、自社の承認フローの骨格ができあがります。AIと設計の型があれば、自社で仕組みを組み立てることは十分に可能です。