彼らは、Gemini で写真の中に命令をこっそりと組み込む方法を見つけました。単純なスケーリングにより、AI が命令を実行します。


バーチャルアシスタント
2025-09-03T10:43:17+02:00

最終更新日: 2025年09月03日
  • 攻撃により、目に見えないマルチモーダル プロンプトが画像内に隠され、Gemini で拡大されると警告なしに実行されます。
  • このベクターは、画像の前処理 (224x224/512x512) を活用し、Zapier などのツールをトリガーしてデータを盗み出します。
  • 最近傍法、双線形法、双三次法のアルゴリズムは脆弱ですが、Anamorpher ツールを使用するとこれらのアルゴリズムを挿入できます。
  • 専門家は、スケールダウンを避け、入力をプレビューし、機密性の高いアクションを実行する前に確認を求めることを推奨しています。

AIシステムに対する画像攻撃

研究者グループは、侵入方法を文書化した。 画像に隠された指示を挿入して個人データを盗むこれらのファイルが Gemini のようなマルチモーダル システムにアップロードされると、自動前処理によってコマンドがアクティブ化され、AI はそれらのコマンドを有効なものとして実行します。

The Trail of Bits が報じたこの発見は、生産環境に影響を及ぼします。 Gemini CLI、Vertex AI Studio、Gemini API、Google Assistant、GensparkなどGoogleは、これが業界にとって重大な課題であることを認めており、実環境における悪用事例は今のところ確認されていない。この脆弱性は、Mozillaの0Dinプログラムを通じて非公開で報告された。

画像スケーリング攻撃の仕組み

鍵となるのは事前分析のステップです。多くのAIパイプライン 画像を標準解像度(224×224 または 512×512)に自動的にサイズ変更します実際には、モデルは元のファイルではなく縮小版のファイルを参照し、そこで悪意のあるコンテンツが明らかになるのです。

攻撃者は挿入 目に見えない透かしでカモフラージュされたマルチモーダルプロンプト写真の暗い部分によく見られるパターンです。アップスケーリングアルゴリズムを実行すると、これらのパターンが現れ、モデルがそれを正当な指示と解釈し、望ましくない動作につながる可能性があります。

管理されたテストで、研究者は Google カレンダーからデータを抽出し、外部のメールに送信する ユーザーの承認なしに。さらに、これらの技術は、 急速な注入攻撃 すでにClaude CodeやOpenAI Codexなどのエージェントツールで実証されており、 情報を盗み出したり、自動化アクションをトリガーしたりする 安全でないフローを悪用する。

分布ベクトルは広い: ウェブサイト上の画像、WhatsAppで共有されたミーム、または フィッシングキャンペーン できたAIにコンテンツの処理を依頼するときにプロンプ​​トを有効にする攻撃は、AI パイプラインが分析の前にスケーリングを実行したときに実現することを強調することが重要です。そのステップを経ずに画像を表示すると、攻撃はトリガーされません。

したがって、リスクはAIが接続されたツールにアクセスするフローに集中します(例: メールを送信したり、カレンダーを確認したり、APIを使用したり): 安全策がない場合、ユーザーの介入なしに安全策が実行されます。

脆弱なアルゴリズムとツールが関与

この攻撃は、特定のアルゴリズムが 高解像度の情報をより少ないピクセルに圧縮する ダウンサイジングでは、最近傍補間、双線形補間、双三次補間が用いられます。メッセージがサイズ変更後も保持されるためには、それぞれ異なる埋め込み手法が必要です。

これらの指示を埋め込むためにオープンソースツールが使用されました アナモルファーターゲットスケーリングアルゴリズムに基づいて画像にプロンプ​​トを挿入し、微妙なパターンの中に隠すように設計されています。その後、AIによる画像前処理によって最終的にプロンプ​​トが明らかになります。

プロンプトが表示されると、モデルは Zapierなどの統合を有効にする (またはIFTTTに類似したサービス) そして連鎖行動: データ収集、電子メールの送信、サードパーティのサービスへの接続、 一見正常な流れの中で.

つまり、これはサプライヤーの単独の失敗ではなく、 拡大縮小された画像を扱う際の構造的な弱点テキスト、ビジョン、ツールを組み合わせたマルチモーダルパイプライン内で.

緩和策と優れた実践

研究者は推奨している 可能な限り縮小を避ける そして代わりに、 制限荷重寸法スケーリングが必要な場合は、 モデルが実際に見るもののプレビューCLIツールやAPIでも、次のような検出ツールを使用します。 Google SynthID.

設計レベルでは、最も堅固な防御は セキュリティパターンと体系的な制御 メッセージインジェクションに対する対策:画像に埋め込まれたコンテンツは、 明示的な確認なしに機密ツールを呼び出す ユーザーから。

運用レベルでは、 出典不明の画像をGeminiにアップロードしないでください アシスタントやアプリに付与されている権限(メール、カレンダー、自動化へのアクセスなど)を慎重に確認してください。これらの障壁によって、潜在的な影響は大幅に軽減されます。

技術チームにとっては、マルチモーダルな前処理を監査し、アクションサンドボックスを強化し、 異常なパターンを記録/警告する 画像解析後のツール起動。製品レベルの防御を補完します。

すべてが、私たちが直面している事実を示している 急速注射の別の変種 視覚的なチャネルに適用。予防措置、入力検証、必須確認により、悪用される余地が狭まり、ユーザーと企業にとってのリスクが制限されます。

この研究は、マルチモーダル モデルの盲点に焦点を当てています。 画像の拡大縮小は攻撃ベクトルとなる可能性がある チェックを怠ると、入力がどのように前処理されるかを理解し、権限を制限し、重要なアクションの前に確認を要求することで、単なるスナップショットとデータへのゲートウェイの違いが生じる可能性があります。