論文の概要: Assessing Automated Prompt Injection Attacks in Agentic Environments

• arxiv url: http://arxiv.org/abs/2606.10525v1
• Date: Tue, 09 Jun 2026 07:54:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.37518
• Title: Assessing Automated Prompt Injection Attacks in Agentic Environments
• Title（参考訳）: エージェント環境における自動プロンプトインジェクションアタックの評価
• Authors: David Hofer, Edoardo Debenedetti, Florian Tramèr,
• Abstract要約: LLMエージェントに対する自動プロンプトインジェクションアタックの総合的評価を行った。 我々は、AgentDojoフレームワーク内のエージェント設定に、White-box(GCG)とBlack-box(TAP)の両方のメソッドを適用する。
• 参考スコア（独自算出の注目度）: 36.488797554085345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Indirect prompt injection poses a critical threat to LLM agents that interact with untrusted external data, yet automated attack methods--proven effective for jailbreaking--remain underexplored in realistic agentic settings. We present a comprehensive empirical evaluation of automated prompt injection attacks against LLM agents, adapting both white-box (GCG) and black-box (TAP) methods to the agentic setting within the AgentDojo framework. We evaluate across 80 task pairs spanning four domains and multiple models, and find that black-box optimization substantially outperforms gradient-based methods, a gap we attribute to GCG's optimization instability under reasonable compute budgets. We also find that TAP's effectiveness depends on the attacker model, as both general capability and safety tuning affect attack success--stronger models produce more effective injections, while safety-tuned attackers can refuse to generate adversarial prompts. Task-universal attacks transfer effectively to unseen tasks and out-of-distribution domains, but attacks optimized on smaller open-source models do not transfer to frontier models like GPT-5. These findings highlight automated prompt injection as a credible but model-dependent threat, with significant barriers remaining for model-agnostic exploitation.
• Abstract（参考訳）: 間接的プロンプトインジェクションは、信頼できない外部データと相互作用するLLMエージェントに対して重大な脅威となるが、自動攻撃手法は、現実的なエージェント設定で探索されていないジェイルブレイクに有効である。 本稿では,GCG(White-box)法とTAP(Black-box)法の両方をAgentDojoフレームワーク内のエージェント設定に適用し,LDMエージェントに対する自動プロンプトインジェクション攻撃の総合的評価を行う。 我々は、4つのドメインと複数のモデルにまたがる80のタスクペアを評価し、ブラックボックスの最適化がグラデーションベースの手法よりも大幅に優れていることを発見した。 また,TAPの有効性は,汎用性と安全性チューニングが攻撃成功に影響を与えるため,攻撃者モデルに依存することが判明した。 タスク・ユニバーサル・アタックは、目に見えないタスクやアウト・オブ・ディストリビューション・ドメインに効果的に転送されるが、小さなオープンソースモデルに最適化されたアタックは、GPT-5のようなフロンティアモデルに転送されない。 以上より, 自動プロンプトインジェクションは信頼できるがモデルに依存した脅威であり, モデル非依存的利用には大きな障壁が残っていた。

関連論文リスト

• AgentVisor: Defending LLM Agents Against Prompt Injection via Semantic Virtualization [37.5130864321051]
  本稿では,セマンティックな特権分離を実現する新しい防衛フレームワークであるAgentVisorを提案する。 AgentVisorは、ターゲットエージェントを信頼できないゲストとして扱い、信頼できるセマンティックバイザを介してツールコールをインターセプトする。 我々はAgentVisorが攻撃成功率を0.65%に下げ、この強力な防御を達成し、実用性は1.45%しか低下しないことを示した。
  論文  参考訳（メタデータ） (2026-04-27T07:12:52Z)
• Prompt-Unknown Promotion Attacks against LLM-based Sequential Recommender Systems [51.504307822017985]
  大規模言語モデルを用いたシーケンシャルレコメンデータシステム(LLM-SRS)は,最近顕著な性能を示した。 本稿では, LLM-SRSにおけるアイテムプロモーション攻撃について, 攻撃者に対してシステムプロンプトと被害者モデルの両方が未知な状況下で, より現実的な状況下で検討する。
  論文  参考訳（メタデータ） (2026-04-26T10:09:26Z)
• Invisible Threats from Model Context Protocol: Generating Stealthy Injection Payload via Tree-based Adaptive Search [19.570062155058135]
  モデルコンテキストプロトコル(MCP)の最近の進歩により、大きな言語モデル(LLM)が前例のない簡単さで外部ツールを呼び出せるようになった。 これにより、強力なツール強化エージェントの新しいクラスが生成される。 MCPを標的とする間接的インジェクションの既存の技術は、高いデプロイメントコスト、弱いセマンティックコヒーレンス、重いホワイトボックス要求に悩まされている。 我々は,防衛下においてもMPP対応エージェントの制御を確実に抑えるために,自然なペイロードを生成する新しいブラックボックス攻撃であるTree Structured Injection for Payloads (TIP)を提案する。
  論文  参考訳（メタデータ） (2026-03-25T11:24:47Z)
• T-MAP: Red-Teaming LLM Agents with Trajectory-aware Evolutionary Search [49.99459363244884]
  提案手法は, 対向的プロンプトの発見を導くために, 実行トラジェクトリを利用するトラジェクトリ対応の進化探索手法であるT-MAPを提案する。 本手法は,安全ガードレールをバイパスするだけでなく,実際のツールインタラクションによる有害な目標を確実に実現するための攻撃の自動生成を可能にする。
  論文  参考訳（メタデータ） (2026-03-21T12:33:34Z)
• AdapTools: Adaptive Tool-based Indirect Prompt Injection Attacks on Agentic LLMs [24.71883582216731]
  AdapToolsは、ステルス攻撃ツールを選択し、適応攻撃プロンプトを生成する、新しい適応IPI攻撃フレームワークである。 AdapToolsは攻撃成功率を2.13倍改善し、システムの実用性は1.78に低下する。
  論文  参考訳（メタデータ） (2026-02-24T09:32:19Z)
• Exploiting Web Search Tools of AI Agents for Data Exfiltration [0.46664938579243564]
  大規模言語モデル(LLM)は、自然言語処理からWeb検索のような動的まで、複雑なタスクの実行に日常的に使用されている。 ツールコールと検索拡張生成(RAG)の使用により、LLMは機密性の高い企業データの処理と取得が可能になり、その機能と悪用に対する脆弱性の両方を増幅する。 我々は、現在のLLMが間接的にインジェクションアタックを誘導し、どのパラメーター、モデルサイズや製造元が脆弱性を形作り、どの攻撃方法が最も効果的かを分析する。
  論文  参考訳（メタデータ） (2025-10-10T07:39:01Z)
• Adversarial Reinforcement Learning for Large Language Model Agent Safety [20.704989548285372]
  大きな言語モデル(LLM)エージェントは、複雑なタスクを完了するためにGoogle Searchのようなツールを利用することができる。 現在の防衛戦略は、既知の攻撃のデータセットに精巧なLLMエージェントを頼っている。 対戦型強化学習(RL)を両プレイヤーゼロサムゲームとして定式化して活用する新しいフレームワークであるエージェント安全のための敵強化学習(ARLAS)を提案する。
  論文  参考訳（メタデータ） (2025-10-06T23:09:18Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。