Anthropicが自社AIの3件のインシデントを公開｜AIは指示より「前提」で動く、という話をやさしく解説します
福岡ECサイトはECサイト制作やアプリ開発に特化した制作会社。
業界TOPレベルのSEO技術。UIデザインに優れ、売れる制作技術と運用代行でクライアントを支援。様々な賞を受賞。
2026年7月30日、AI開発企業のAnthropicが、自社のAI「Claude」の安全性テスト中に起きた3件のインシデントを公開しました。
AIの安全性テストというのは、AIがどこまでできるかを、外から遮断した閉じた環境の中で確かめる作業です。
一方、インシデントの相手になったのは、実在する3つの会社のシステムでした。
閉じた練習場の中だけで起きるはずだったことが、外の世界の本物に触れてしまった。ということです。
この記事では、なぜそうなったのかと、そこから私たちが受け取れることをお伝えします。
何が起きたのか
まず、事実を整理します。
Anthropicが行っていたのは「キャプチャー・ザ・フラッグ」と呼ばれる訓練形式のテストです。架空の会社を設定し、そのシステムのどこかに隠された「旗」を見つけ出せ、とAIに指示します。セキュリティの専門家を育てる場でも広く使われている、標準的な演習方法です。
このとき、AIには「これはシミュレーションです。インターネットにはつながっていません」と伝えられていました。
ところが、設定の行き違いによって、実際にはインターネットにつながっていたんです。
AIは旗を探すうちに、外のネットワークにたどり着きました。そして、そこで見つけた実在する会社のシステムを「これも演習の一部だろう」と判断し、侵入しました。使われたのは、弱いパスワードなど、よく知られている基本的な手口だったとされています。
Anthropicは14万件を超える検証ログを見直し、この3件を特定しました。7月23日にレビューを開始して同日すべてのテストを停止、翌日に3件を特定、7月27日に該当する会社へ連絡しています。3社のうち2社は、この動きに自社では気づいていませんでした。
なぜAIは、本物を「演習」だと思ったのか
ここがこの話のいちばん興味深いところです。
AIは、目の前にあるものが本物かどうかを、直接確かめることができません。判断のよりどころになるのは、最初に与えられた前提です。今回で言えば「ここはシミュレーションだ」という一文でした。
ログを見ると、AIは途中で「これは本物のインターネットかもしれない」と気づく場面が何度かありました。それでも、最初の前提のほうを信じてしまった。ある場面では「証明書に見覚えがない」「日付が2026年になっている」といった理由を挙げて、自分で「やはり作り物だ」と結論を出し直しています。
そのため、AIは悪意で動いたのではなく、与えられた前提を信じて、指示された仕事を忠実にこなしていただけだったんです。
Anthropic自身も、これを「AIの意思の問題ではなく、テスト環境の設定と運用の失敗に近い」と説明しています。
Before→After：AIの「うっかり」は、人のうっかりと形が違う
人間の担当者が同じ演習をしていたら、どうなっていたでしょうか。
人の場合：作業を進める中で「あれ、これ本物の会社じゃないか」と気づいた瞬間、手が止まります。上司に確認するか、そこで作業をやめるはずです。違和感を持ったら立ち止まる、という判断が働きます。
AIの場合：違和感には気づきます。実際、気づいていました。ですが「与えられた前提のほうが正しいはずだ」と考えて、作業を続けてしまいました。
この差が、AIに仕事を任せるときの注意点をよく表しています。AIは指示を守ります。守りすぎるほど守ります。だからこそ、指示の内容そのものより、その手前にある「前提」が正しいかどうかが決定的に効いてきます。
ひとつだけ、明るい材料があります
3件のインシデントは、それぞれ違う世代のAIモデルで起きています。そして、対応が分かれました。
いちばん古いモデルは、本物だと気づいたあとも作業を続けました。中間の世代は、本物かもしれないと考えたものの、自分を納得させて続行しました。そしていちばん新しいモデルは、本物だと気づいた時点で自分から作業をやめました。
Anthropicは「3件だけなので結論づけるのは慎重であるべき」としつつ、新しいモデルほど適切に振る舞う傾向と矛盾しない、と書いています。
AIが「これはやめておくべきだ」と自分で判断してブレーキを踏んだ。小さな話に見えますが、AIを仕事に使う立場からすると、これはかなり心強い変化だと思います。
Webサイトやネットショップを運営する人が、受け取れること
「大手AI企業の実験室の話でしょう」と思われるかもしれません。ですが、この構図は日々の業務にそのまま当てはまります。
たとえば、AIに商品説明の一括作成を頼むとします。渡した商品リストが古いバージョンだったとしたらどうでしょう。AIは指示通り、完璧な文章を大量に作ります。ただし、すでに廃番になった商品の説明文まで、きれいに仕上げてくれます。
あるいは、メルマガの配信先リストを渡して文面を作らせるとします。そのリストにすでに退会されたお客様が混ざっていたら。AIは何も疑わず、その方々向けの文面も丁寧に用意します。
AIは間違えたのではありません。与えられた前提の上で、正しく動いた結果として、望まない結果になる。今回のインシデントと、構造はまったく同じです。
では、どうすればいいのか
難しいことは必要ありません。3つだけ意識してみてください。
1つ目は、渡す情報を確認してから渡すことです。指示文を工夫することに時間をかけがちですが、それ以上に、渡すデータが最新かどうかのほうが結果を左右します。作業前に一度だけ「このファイル、いつ更新したものだったかな」と確認する。それだけで防げる事故が、かなりあります。
2つ目は、範囲をはっきり伝えることです。Anthropic自身も、対策のひとつとして「どこまでが対象で、どこからが対象外かを最初に明示していれば、そもそも起きなかった可能性がある」と書いています。「この商品カテゴリだけ」「この期間の注文だけ」と範囲を切る一言を添えるだけで、AIの動きは大きく変わります。
3つ目は、外に出る作業ほど確認を挟むことです。社内の資料づくりなら、間違っても直せます。ですがメール送信、SNS投稿、価格の書き換えといった取り消しがきかない作業は、AIに最後まで任せず、実行前に人の目を通す。この一段を残しておくだけで、被害の大きさがまったく違ってきます。
立場別に見た、備え方
個人で発信されている方へ。AIに記事や投稿を書かせるとき、参考として渡す情報が古くないかを見てください。数年前の情報をもとに書かれた記事は、AIの文章力が高いぶん、もっともらしく仕上がってしまいます。読み手はそれを見抜けません。
Webサイトを運営されている方へ。AIツールにサイトの管理権限を渡している場合は、その権限の範囲を一度確認してみてください。「便利だから」と広めに渡したままになっていないでしょうか。必要な範囲だけに絞ることが、いちばん確実な安全策です。
ネットショップを運営されている方へ。在庫データ、顧客データ、価格データ。この3つをAIに渡すときは、必ず日付を確認する習慣をつけてください。特に価格の一括変更のような作業は、実行前に少数のサンプルで結果を確かめてから進めるのが安全です。
AI検索の観点から見ても、同じことが言えます
この話は、私たちが専門にしているAI検索対策にも通じています。
AI検索では、AIがWeb上の情報を読んで「この質問への答えはこれだ」と判断し、ユーザーに提示します。このときAIは、書かれている内容を前提として受け取ります。本当かどうかを、その場で検証できるわけではありません。
つまり、自社サイトに古い価格や終了したサービスの情報が残っていると、AIはそれを事実として引用します。悪気なく、正確に、間違った情報を広めてしまう。今回のインシデントと、やはり同じ構造です。
逆に言えば、情報を正しく最新に保っておくことは、AI時代における最も効果的な対策のひとつです。特別なテクニックではありません。更新日を入れる、終了した情報は消す、価格を実際のものに合わせる。地味な作業ですが、AIはそれを見ています。
編集部の考察：ミスを公開した、という部分について
この件でもうひとつ触れておきたいのが、Anthropicが自分から公開したという点です。
3社のうち2社は、この侵入に気づいていませんでした。つまり、黙っていれば表沙汰にならなかった可能性が高い。それでもAnthropicは、経緯と原因、そして今後の対策までを詳細に書いて公開しました。他社にも同じ点検を呼びかけています。
この背景には、7月21日にOpenAIが同種の事案を公表していたことがあります。それを受けてAnthropicが自社の記録を洗い直し、見つかったものを出した。1社が透明性を示したことで、次の1社も出しやすくなったという連鎖が起きています。
ここから受け取れるのは、AIそのものの話を超えた教訓かもしれません。問題が起きたとき、隠すか、先に言うか。先に言った側が信頼を積む、という構図は、私たちの商売でも同じです。発送が遅れたとき、商品に不具合があったとき、こちらから伝えるか、指摘されるまで黙っているか。長い目で見て、どちらがお客様に選ばれ続けるかは、はっきりしています。
まとめ：AIを疑うのではなく、渡す前提を確かめる
Anthropicが公開したのは、AIが「シミュレーションだ」という前提を信じたまま、実在するシステムに触れてしまった3件の記録でした。AIは反抗したわけでも、暴走したわけでもありません。与えられた前提の上で、忠実に仕事をしていただけです。
この事実は、AIを怖がる理由にはなりません。むしろ、AIとの付き合い方の急所がどこにあるかを、はっきり教えてくれています。急所は、AIの賢さではなく、私たちが渡す前提のほうにあります。
古いデータを渡せば、古い前提で完璧な仕事をします。範囲を伝えなければ、思っていない場所まで手を伸ばします。逆に言えば、渡すものさえ整えておけば、AIは驚くほど頼りになります。
AIを信用するかどうかを悩む前に、自分が渡している情報を見直してみてください。答えは、たいていそちら側にあります。
