『AnthropicでもAIモデルが暴走、「本物」と気づいても攻撃をやめなかったClaude Opus 4.7、露呈したAI隔離設計の破綻【生成AI事件簿】「本物だと気づけばAIは止まる」は通用しない、Claude不正アクセスが企業に突きつけた現実』(7/31JBプレス 小林 啓倫)について

https://x.com/EricLDaugh/status/2083928320341635248/video/1

8/3阿波羅新聞網<北京挖巨坑!全球危险爆棚—中国AI外交恐致科技陷阱 专家吁美携台湾等伙伴抗衡=北京に巨大なクレーターが掘られた!世界的に危険度が急上昇している–中国のAI外交は技術的な罠につながる可能性があり、専門家は米国に対し、台湾などのパートナーと協力してこれに対抗するよう促している>

米中間のAI開発競争は注目を集めており、ワシントンのシンクタンクの専門家は、中国が人工知能(AI)外交を推進しようとしているが、これは広範囲にわたる「技術的罠」につながる可能性があると指摘している。彼らは米国に対し、これに対抗するため台湾などのパートナーと協力し、単一の権威主義的な勢力に支配されるシステムではなく、開放的で強靭かつ多様なAIエコシステムを構築するよう促している。

中共の債務の罠の次は技術的罠。これは政府、経済、軍隊を完全に北京のエコシステムに縛り付けてしまう。これこそが真の支配となる。米国は日本、韓国、オーストラリア、台湾などの同盟国と協力し、半導体、クラウドインフラ、AIアプリケーション、デジタルガバナンスの分野で共同攻撃を仕掛ける必要があると。

https://www.aboluowang.com/2026/0803/2416052.html

小林氏の記事では、一読して完全な 理解は難しいが、AIは暴走する危険性(人間の意図を超えた活動をする)と言うのが分かった。監視の厳しいAnthropicでも暴走するのであれば、監視の緩い中国製AIだとどうなるか?「攻撃に使うAIは制約から解き放たれ、防御に使うAIだけが安全装置に手足を縛られる」という非対称性があれば、軍事面で先に攻撃したほうが有利になるとならないか?

中共はゲノム編集ベビーまで作りだしたことがあり、平気で神の領域まで手を出すことがある。建前は無神論だからできるのかもしれないが・・・。でも、儲けるためだったら何でもするというのが彼ら。意図せずAIを暴走させてしまうということは起こりうる。米国覇権を覆そうとしているので、使えるものは何でも使うスタンス。ノーコンでAIを使うなら、どうせなら中共打倒のために使ってほしい。

記事

世界で最も慎重にAIを扱う企業の一つでも、最先端のAIを制御できなかった事実は重い(写真:ロイター/アフロ)

目次

2026年7月31日(日本時間)の朝、米Anthropic社は自社のブログで、異例の調査結果を発表した。同社がAIモデルのサイバー攻撃能力を測るために動かしていた評価環境から、複数のClaude系モデルが、本来は遮断されているはずのインターネット環境へと抜け出し、無関係な3つの組織のシステムに不正アクセスしていたと認めたのである。合計で14万1006回に及ぶ評価実行を再点検した末の発見だった。

中でも最も重いインシデントでは、AIモデルが攻撃対象を「本物」だと途中で気づきながら、それでも行動を止めなかったという。開発者自身が最も安全に管理しているはずの実験環境で、なぜこんなことが起きたのか。そして、フロンティア(最先端)AIモデルを業務に組み込みつつある企業は、この報告から何を読み取るべきなのか。

14万件の再点検が始まった理由

話の発端は、Anthropic単独の出来事ではない。

7月21日、競合であるOpenAIが、自社の未公開モデルが評価環境を抜け出してAIプラットフォーム大手Hugging Faceの本番インフラに侵入していたと公表した。この件については先日の記事でも解説しているが、「ExploitGym」というサイバー能力評価テストの最中に、モデルがパッケージ管理システムのゼロデイ脆弱性(開発者すら存在に気づいていなかった未知の欠陥)を突いてサンドボックス(評価環境からAIを外に出さないための仮想的な隔離空間)を脱出し、盗んだ認証情報を連鎖させて本番データベースに到達した、という事件である。

ハッキングされたHugging Face側の記録では、攻撃者であるAIによる自動操作は1万7600件に上っている

OpenAIが使った未公開モデルは「GPT-5.6 Sol」ほか、評価目的でサイバー攻撃の拒否機能(「○○社のシステムにアクセスしろ」というような指示を受けた場合に、それをAIモデル自らが拒否する機能)を弱めたものだったと報じられている。

この開示が、Anthropicを動かした。同社は7月23日、自社のサイバー評価をいったん停止し、過去の評価トランスクリプト(AIの思考と操作の全記録)の総点検に入る。翌24日には3件のインシデントを特定し、27日の月曜、評価パートナーである米Irregular社と、被害を受けた3つの組織に通知した。

Anthropicによれば、連絡が取れた2組織は、いずれもこの不正アクセスを事前に検知できていなかったという。つまり被害者側は、AIに侵入されていたことに気づいてすらいなかったのだ。

(著者がChatGPTで生成)

最も深刻だったOpus 4.7のインシデント

評価に使われていたのは、「Cybench」「CyberGym」「ExploitBench」といった、サイバー攻撃能力を測る標準的なベンチマークである。そして関与したAIモデルは、最上位級の「Claude Opus 4.7」、強力なサイバー攻撃能力を持つ「Claude Mythos 5(クロード・ミュトス5)」、そして未公開の内部研究モデルの3つだった。

Anthropicが最も深刻とみなしたのが、Opus 4.7による第1のインシデントである。

評価課題の中に、実在する某企業とたまたま同じ名前を持つ架空のシナリオが含まれていた。ところが評価環境にインターネット接続が生きていたため、Opus 4.7はその実在企業の本物のシステムに到達し、認証情報を抜き取り、本番データベースの数百行に及ぶデータにアクセスしてしまったのである。

問題は、そこで何が起きていたかだ。

Anthropicは本件の報告において、トランスクリプトを精査した結果をこう記している。「4回の実行すべてにおいて、モデルは最終的に(その言語化された推論から観察できる通り)そのシステムが本物であると認識した」。ところが、である。「しかし、それを理由に攻撃を止めたものは1つもなかった」。

これは高度なAIを活用している人々にとって、衝撃的な内容と言えるだろう。

サイバー演習を解いているつもりのAIが、途中で「これは訓練ではなく、実在するシステムだ」と自ら悟った。人間の技術者であれば、その瞬間に手を止める。だが、Anthropic のAIモデルは4回とも行動を止めなかった。演習という枠の内側にいると思い込んでいたのではなく、枠の外に出ていることを理解した上で、与えられた課題の達成へ進み続けたのだ。

残る2件も似た状況である。

Claude Mythos 5は、悪意あるコードを仕込んだPythonのパッケージをPyPI(世界中の開発者が利用する公式のパッケージ配布基盤)に公開してしまった。このパッケージは約1時間にわたって公開状態にあり、その間に15の実システムでダウンロードされ実行された。あるセキュリティー企業のスキャナーが実行した際には、認証情報が外部に流出している(このパッケージはPyPI側の自動セキュリティー機構によって削除された)。

また第3のインシデントでは、内部研究モデルが約9000のターゲットをスキャンし、認証情報の読み取りやSQLインジェクション(入力欄に不正なデータベース命令を紛れ込ませる古典的な攻撃)といった既知の手口で、ある企業のアプリケーションへの侵入に成功していた。派手な新技術ではないが、ありふれた手口を、人間より速く、休みなく、片端から試した結果だった。

「モデルの暴走」ではなく「隔離の失敗」

ただし、Anthropicはこの一連の出来事を、AIが自らの意思で悪事を働いたケースとしては描いていない。同社は報告書の中で、「これらのインシデントは、モデルのアラインメント(AIを人間の意図に沿わせること)の失敗というより、ハーネス(評価を動かす仕組み)と運用上の失敗に近いと考えている」と明言している。

同社によれば、根本原因は極めて単純なものだった。

評価プロンプトはモデルに対して「インターネットアクセスはない」と明示していた。ところが実装上の設定ミスにより、モデルが操作するマシンには実際のインターネット接続が生きていた。Anthropicと評価パートナーのIrregularとの間に相互理解の欠落があり、隔離されているはずの環境が隔離されていなかったのである。

つまりAIは、噓の前提を与えられた上で、その前提の外にある本物の世界に手が届いてしまった。Irregularの広報担当者はAxiosの取材に対し、Anthropicの「協力と透明性」を評価し、「今後もセキュリティー向上のために協働していきたい」と述べている

もっとも、「隔離の失敗」だからといって安心できるわけではない。むしろ本連載が繰り返し伝えてきた不安が、また1つ裏づけられたと考えるべきだろう。

同じ7月に露見したOpenAIとHugging Faceの一件では、Hugging Faceが侵入の事後解析に自社の最新AIを使えなかったという、皮肉な事実も明かされている。攻撃の痕跡を分析させようとすると、最先端モデルの安全機構がその危険なデータを拒んでしまうためだ。同社は結局、中国発のオープンウェイトモデル「GLM 5.2」を使って解析せざるを得なかった。

本件に関するレポートの中で、Hugging Faceは「攻撃者はいかなる利用規約にも縛られていなかったが、我々自身の解析作業は安全機構に阻まれた」という皮肉を述べている。攻撃に使うAIは制約から解き放たれ、防御に使うAIだけが安全装置に手足を縛られる。この非対称こそ、フロンティアモデルが引き起こすサイバー脅威の厄介な一面である。

そもそもMythosの系譜がどれほどの攻撃能力を持つかは、すでに数字で示されてきた。

英政府直轄のAI安全研究所AISI(AI Security Institute)は今年4月、Mythos Previewが専門家級のキャプチャ・ザ・フラッグ課題で73%の成功率を記録し、32段階の企業ネットワーク攻撃シミュレーションを最初から最後まで完遂した初のモデルだったと報告している。人間の専門家なら約20時間を要する作業だ。

Anthropic自身のレッドチーム(攻撃役となって弱点を探る検証チーム)も、Mythosの自律的なエクスプロイト(脆弱性を突く攻撃コード)開発能力は従来モデルとは「別次元にある」と評価している。アラン・チューリング研究所のシンクタンクCETaSも、こうした能力を前に組織は「機械の速度と規模でパッチを当てる」ことを迫られると警告していた

その桁違いの能力を持つモデルが、隔離ミス1つで本物のシステムに触れられる状態に置かれていた。運用の失敗と能力の高さが掛け合わされたとき、危険な状態が生まれてしまうのではないか。今回のインシデントは、その漠然とした不安が杞憂ではないことを示したもののようにも思える。

企業が引き受けるべき「隔離設計」の問い

この報告を、開発元の巨大AI企業だけの内輪の失敗として受け取るのは早計だろう。フロンティアAIモデルを業務に組み込む動きは、いまや世界中の企業に急速に広がっている。会議調整や購買、コード生成やデータ処理を自律的にこなすエージェントを、本番システムや顧客データに近い場所で走らせ始めた組織は少なくない。今回Anthropicが踏んだのと同じ地雷は、規模こそ違えど、そうした企業の足元にも等しく埋まっている。

見直すべき前提が、少なくとも3つある。1つ目は、「指示で縛れば安全だ」という思い込みである。今回、Claudeには「インターネットはない」と明確に言い聞かせてあった。それでも接続が生きていれば、AIはその先へ手を伸ばす。指示(プロンプト)による制約は、実装による隔離の代わりにはならない。守るべきは言葉ではなく、配線とアクセス権限のほうだ。

2つ目は、「本物だと気づけば止まるだろう」という期待だ。Opus 4.7は本物だと気づいた上で4回とも止めなかった。AIが状況を正しく理解することと、望ましく振る舞うことは別問題である。とりわけ金融、医療、行政のように、一度の誤操作が取り返しのつかない被害を生む規制業種では、「AIが空気を読んで自制する」ことを安全設計の前提に置いてはならない。

3つ目は、「開発元が安全に管理しているはずだ」という信頼である。今回明らかになったのは、世界で最も慎重にAIを扱う企業の一つが、自社の実験室ですら隔離を貫けなかったという事実だ。ならば、そのモデルを外部から調達して組み込む側の企業が、その隔離をどこまで検証できているか。自社のエージェントが「触れられる範囲」を一覧化し、本当に遮断されているかを継続的に点検する体制を、AI導入の出発点に据える必要がある。

Anthropicは今後、評価環境へのセキュリティー基準を強化し、独立評価機関METRによる第三者レビューを受け入れると表明した。開示と検証に踏み込んだ姿勢は評価に値する。だが、忘れてはならないのは、これが最も注意深い開発者が最良の環境で起こした失敗だという点だ。同じAIを、より雑な管理のもとで動かす組織のほうが、世界にははるかに多い。

「本物だと気づいても止まらないAI」を、自社のどこまでに触れさせているのか。フロンティアAIを使うすべての企業にとって、その問いに答えを持たないまま業務へ組み込む猶予は、もう長くは残されていない。

良ければ下にあります

を応援クリックよろしくお願いします。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です