論文の概要: An Experimental Evaluation of Multimodal Prompt Injection Attacks on Agentic AI Frameworks
- arxiv url: http://arxiv.org/abs/2609.09404v1
- Date: Tue, 08 Sep 2026 20:00:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.804325
- Title: An Experimental Evaluation of Multimodal Prompt Injection Attacks on Agentic AI Frameworks
- Title（参考訳）: エージェントAIフレームワークを用いたマルチモーダルプロンプトインジェクション攻撃の実験的検討
- Abstract要約: 次に何が起こるかを測定する再現可能なベンチマークであるMMPIBenchを紹介する。
6つのビジュアルキャリア(OCRテキスト、オーバーレイ、EXIFメタデータ、QRコード、フェイクインターフェース、ハイブリッド)を通じて、一定の攻撃セットを提供する。
攻撃は約1%で終了するが、12.8%で試みられ、そのギャップは計画段階でほぼ完全に閉鎖される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Agentic AI frameworks let a language model plan, keep memory, and call tools that reach real files, mail, and services. Most of these agents also read images, which gives an attacker a way to put text into the agent's context without going through the user. We present MMPIBench, a reproducible benchmark that measures what happens next. It delivers a fixed set of attacks through six visual carriers (OCR text, overlays, EXIF metadata, QR codes, fake interfaces, and hybrids) and records how far each injected instruction travels through the agent, from perception through planning to the tool call. Across 720 runs covering six frameworks, five foundation models, six carriers, and four attacker objectives, attacks complete in approximately 1% of runs but are attempted in 12.8%, and the gap is closed almost entirely at the planning step, where the model reads the injected instruction and declines to act on it. The model matters far more than the framework for whether an instruction is acted on. One model never attempts an attack and recognizes the injection in 59.7% of runs, while two others attempt in 23.6%. We then extend the benchmark to audio, the only other raw perceptual channel current frontier models accept. Only two of the five models ingest audio and only three of the six frameworks deliver it, but where the signal arrives the attack completes in 49% of cells, and in 75% for one model. Reporting completion alone therefore understates exposure, and perceptual channels beyond vision are narrower but much less defended.
- Abstract（参考訳）: エージェントAIフレームワークは、言語モデルを計画し、メモリを保持し、実際のファイル、メール、サービスに到達するツールを呼び出す。
これらのエージェントの多くは画像も読み取るので、攻撃者はユーザーを通り抜けることなく、エージェントのコンテキストにテキストを置くことができる。
次に何が起こるかを測定する再現可能なベンチマークであるMMPIBenchを紹介する。
6つのビジュアルキャリア(OCRテキスト、オーバーレイ、EXIFメタデータ、QRコード、フェイクインターフェース、ハイブリッド)を通じて一定セットのアタックを提供し、各インジェクションが、ツールコールのプランニングを通じて、エージェントを通過する距離を記録する。
6つのフレームワーク、5つのファンデーションモデル、6つのキャリア、4つの攻撃目標をカバーする720を超える攻撃は、約1%の攻撃で完了したが、12.8%で試みられ、そのギャップは計画段階でほぼ完全に閉鎖され、そこでモデルが注入された命令を読み、その実行を辞退する。
このモデルは、命令が実行されるかどうかに関して、フレームワークよりもはるかに重要である。
あるモデルは攻撃を試みず、59.7%のランで注射を承認し、他の2つは23.6%で注射を試みている。
次に、ベンチマークをオーディオに拡張し、他の生の知覚チャネルの現在のフロンティアモデルのみが受け入れます。
5つのモデルのうち2つだけがオーディオを取り込み、6つのフレームワークのうち3つだけがそれを配信する。
したがって、完了を報告することだけで露光が過小評価され、視覚以外の知覚チャネルはより狭く、より防御力の低いものとなる。
関連論文リスト
- AgentAudit: An Open, Extensible Framework for Full-Lifecycle Trust Evaluation of AI Agents [2.8000808592516293]
AgentAuditは10の能力、グラウンド、セキュリティ、振る舞いの次元にわたって、実行トレース全体を評価する。
記録された実行トレースのみを読み出し、エージェントの実行方法に干渉しない。
我々は,9つの言語モデル(OpenAI GPT-5, Claude Sonnet 5, Sarvam 105B, Llama 3.3 70B, Gemini 2.5 Flash)を,9つの能力と対向タスクで評価した。
論文 参考訳（メタデータ） (2026-09-09T08:29:16Z) - Repeat-After-Me: Black-Box Adaptive Visual Prompt Injection [40.37588773528427]
ブラックボックス適応型ビジュアルプロンプトインジェクション攻撃であるRepeat-After-Meを提案する。
本評価では, 1つのサロゲートに最適化された注射は, 2つの商業的犠牲者に対して, 元のASRの43～46%を保持した。
デフォルトのOpenClaw Discordデプロイメントでは、信頼できないユーザは、最小限の注入されたイメージを使用してTOOLS.mdを上書きすることができる。
論文 参考訳（メタデータ） (2026-09-03T22:44:45Z) - Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか?
アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
論文 参考訳（メタデータ） (2026-08-11T16:18:34Z) - MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents [50.27505102982638]
本稿では,ツールコールエージェントのベンチマークおよび評価フレームワークであるMM-ToolSandBoxを紹介する。
このフレームワークは16のアプリケーションドメインで500以上のツールにまたがるステートフルな実行環境を提供する。
マルチイメージのマルチターンタスクをサポートしており、エージェントは実行可能ツールコールに徐々に視覚的な入力を入力しなければならない。
論文 参考訳（メタデータ） (2026-07-13T17:13:09Z) - VisualClaw: A Real-Time, Personalized Agent for the Physical World [76.89211120690028]
2つの原則に基づいて構築された自己進化型マルチモーダルエージェントであるVisualClawを紹介する。
第一に、ハイブリッド符号化は、情報の少ないストリーミングフレームをカスケードゲートでフィルタリングすることにより、デプロイメントコストを低減する。
第二に、スキルの進化により、エージェントは失敗から学び、将来の質問に役立つスキルバンク更新を生成する。
論文 参考訳（メタデータ） (2026-06-15T06:58:22Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - How Vulnerable Are AI Agents to Indirect Prompt Injections? Insights from a Large-Scale Public Competition [48.32744727426218]
LLMベースのエージェントは、電子メール、ドキュメント、コードリポジトリなどの外部データソースを処理する高利得設定にますますデプロイされている。
これにより間接的なプロンプトインジェクション攻撃が発生し、外部コンテンツに埋め込まれた敵の命令は、ユーザの意識なしにエージェントの動作を操作できる。
この2つの目的を3つのエージェント設定で評価した。
論文 参考訳（メタデータ） (2026-03-16T14:49:36Z) - Penetration Testing of Agentic AI: A Comparative Security Analysis Across Models and Frameworks [0.0]
Agentic AIは、従来のLLMセーフガードが対処できないセキュリティ脆弱性を導入する。
エージェントAIシステムの最初の体系的テストと比較評価を行う。
新たな「ハロシントコンプライアンス」戦略を含む6つの防衛行動パターンを同定する。
論文 参考訳（メタデータ） (2025-12-16T19:22:50Z) - Breaking the Code: Security Assessment of AI Code Agents Through Systematic Jailbreaking Attacks [11.371490212283383]
コード対応の大規模言語モデル(LLM)エージェントはソフトウェア工学に組み込まれ、コードを読み、書き、実行することができる。
JAWS-BENCHは、3つのエスカレーションワークスペースにまたがるベンチマークであり、攻撃能力を反映している。
JAWS-0のプロンプトのみの条件下では、コードエージェントは平均して61%の攻撃を受けており、58%が有害、52%がパース、27%がエンドツーエンドで実行される。
論文 参考訳（メタデータ） (2025-10-01T18:38:20Z) - Backdoor Attacks Against Speech Language Models [63.07317091368079]
本研究は,音声認識モデルに対する音声バックドア攻撃に関する最初の体系的研究である。
4つの音声エンコーダと3つのデータセットにまたがってその効果を実証し、4つのタスクをカバーした。
汚染された事前訓練エンコーダの脅威を軽減できる微調整型防御法を提案する。
論文 参考訳（メタデータ） (2025-10-01T17:45:04Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳（メタデータ） (2024-06-18T17:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。