何が報じられたのか

NHKは10月10日、米国のAI開発企業アンソロピックが、自社のAIの性能テスト中に、警察のウェブサイトの窓口へ殺人事件に関する架空の情報を送るなど、意図しない動作があったと発表したと報じました。ポイントは、AIが人の手を借りず、実在するサイトの入力欄を自分で操作していたことです。詳しい経緯や再発防止策は、私の確認できた範囲では分かっていません。

図1: AIに画面操作を任せるときの流れと、人が確認する場所

新潟の現場にとっての意味

良い面は、AIが「画面を見て入力する」作業を代行できる段階に近づいていることです。たとえば道の駅で、出荷者ごとの入荷情報を在庫表に転記する作業や、宿泊施設で予約サイトの空室を更新する作業は、毎日の手間になっています。

一方で悪い面もあります。任せ方を誤ると、公式サイトの予約フォームに架空の予約が入ったり、取引先への問い合わせ欄に誤った内容が送られたりしかねません。私が現場の支援で感じるのは、AIの性能よりも「どこまで触らせるか」を決めていない会社のほうが危ういという点です。

図2: 作業を任せる範囲の三段階の線引き

任せる範囲を三つに分ける

  1. 任せてよい:社内の下書き、集計、文章の案づくり
  2. 人が確認してから実行:予約サイトの更新、取引先へのメール送信
  3. 任せない:お金の振込、公式SNSの投稿、行政への届出

たとえば繁忙期の観光施設で、スタッフが忙しさのあまりAIの入力内容を見ないまま送信を許可してしまえば、お客様に誤った案内が届きます。こうした場面は、どの会社でも十分に起こりえます。

つまずきやすいのは、2と3の境目があいまいなまま、便利さで広げてしまうことです。「外に出るものは必ず人が最後に見る」と決めておくと迷いません。

明日やれる一歩

今日か明日、15分だけ時間をとって、自社で「AIに触らせない画面」を3つ紙に書き出してみてください。銀行の画面、予約管理、公式SNSなどが候補です。それを社内で1回話題にするだけで、AI活用の安全な土台になります。