論文の概要: Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents

• arxiv url: http://arxiv.org/abs/2606.26479v1
• Date: Thu, 25 Jun 2026 00:35:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.119841
• Title: Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents
• Title（参考訳）: LLM剤のプロンプト注入に対するアウト・オブ・バンド防御の適応的評価
• Authors: Praneeth Narisetty, Shiva Nagendra Babu Kore, Uday Kumar Reddy Kattamanchi, Jayaram Kumarapu,
• Abstract要約: 最近の研究は、間接的プロンプトインジェクションに対するツール使用 LLM エージェントの防御戦略に集約されている。 我々はこれらのアウト・オブ・バンド・ディフェンスを古典的整合性保護の事例として整理する。 我々は、このプロトコルを、Progent自身の適応攻撃解析の独立した複製と拡張として実行している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work (2024 to 2026) has converged on a strategy for defending tool-using LLM agents against indirect prompt injection: rather than training the model to refuse malicious instructions, enforce security outside the model with a deterministic policy that mediates the agent's actions. Systems such as CaMeL, FIDES, Progent, RTBAS, and FORGE realize this with capabilities, information-flow labels, and reference monitors, and several report near-elimination of attacks on the AgentDojo benchmark. We make two contributions. First, we organize these out-of-band defenses as instances of classical integrity protection (Biba), reference monitoring, and least privilege, yielding a structured comparison of what they do and do not cover. Second, we warn that every one of them is validated only on static benchmarks (a fixed set of injection attempts), the same methodology that made in-band defenses look strong until adaptive, defense-aware attacks broke twelve of them at over 90% success; we specify the threat model and protocol an adaptive evaluation requires. We then run that protocol as an independent reproduction and extension of Progent's own adaptive-attack analysis, on AgentDojo, with an open-weight agent (Qwen2.5-7B) self-hosted on a single H200, a setting its authors did not test. Averaged over three runs, the defense held: Progent cut mean attack success roughly sixfold (25.8% to 4.2%), and a hand-crafted adaptive attack did not raise it (2.6%). This is one small-scale data point on a weak model with a single black-box attack template; a stronger optimized (white-box GCG) attack remains open. The result is consistent with, but does not establish, the hypothesis that deterministic out-of-band enforcement is a harder target for an adaptive attacker than in-band detection.
• Abstract（参考訳）: 最近の研究(2024年-2026年)は、ツール使用のLSMエージェントを間接的インジェクションから防御する戦略に集約されている。 CaMeL, FIDES, Progent, RTBAS, FORGEなどのシステムでは,機能,情報フローラベル,参照モニタ,およびAgentDojoベンチマークに対する攻撃のほぼ終了を報告している。 私たちは2つの貢献をします。 まず、これらのアウト・オブ・バンド・ディフェンスを古典的整合性保護(Biba)、参照監視、最小特権のインスタンスとして整理し、それらの動作とカバーしない動作の構造化された比較を行う。 第2に、静的なベンチマーク(固定的なインジェクション試行)でのみ検証されることに注意し、適応的な防御攻撃が90%以上の成功で12の攻撃を突破するまで、バンド内の防御を強固に見せるのと同じ方法論である。 次に、このプロトコルをAgentDojo上のProgent独自のアダプティブ・アタック分析の独立した複製と拡張として実行し、オープンウェイトエージェント(Qwen2.5-7B)を1つのH200に自己ホストする。 プロジェント・カットは6倍(25.8%から4.2%)、手作りのアダプティブ・アタックは2.6%)だった。 これは、単一のブラックボックスアタックテンプレートを持つ弱いモデル上の小さなデータポイントのひとつで、より強力な最適化(ホワイトボックスGCG)アタックは依然としてオープンである。 その結果は、帯域内検出よりも適応的攻撃者にとって決定論的アウト・オブ・バンドの強制が難しいという仮説と一致しているが定まっていない。

関連論文リスト

• Defending against Adaptive Prompt Injection Attacks via Reasoning-enabled Task Alignment [25.752599132396437]
  間接的なプロンプトインジェクションは、エージェントがタスク実行中に検索するサードパーティデータに悪意のある命令を埋め込むことによって、LLMベースのエージェントをハイジャックする。 既存のディフェンスでは、静的なベンチマークでほぼゼロの攻撃成功率を報告しているが、最近のアダプティブ評価では、攻撃者がデプロイされたディフェンスに対して最適化を許せば、これらの結果は崩壊する。 本稿では,攻撃者が制御するデータではなく,ユーザタスクに対する防衛判断を基礎としたトレーニングベースのRETAを提案する。
  論文  参考訳（メタデータ） (2026-06-13T19:15:44Z)
• AutoDojo: Adaptive Black-Box Attacks Reveal the Limits of IPI Defenses and Task-Specification Effects in LLM Agents [57.34566159148893]
  間接的プロンプトインジェクション(IPI)は、LLMを動力とするエージェントに対する主要なセキュリティ脅威である。 我々は、特定の防御に対してIPIを最適化するAgentDojoの適応的な拡張であるAutoDojoを開発した。
  論文  参考訳（メタデータ） (2026-06-13T02:09:08Z)
• PlanGuard: Defending Agents against Indirect Prompt Injection via Planning-based Consistency Verification [1.7904458681854372]
  PlanGuardは、コンテキスト分離の原則に基づいた、トレーニング不要の防御フレームワークである。 PlanGuardは攻撃を効果的に中和し、アタック成功率(ASR)を72.8%から0%に下げる。
  論文  参考訳（メタデータ） (2026-04-11T09:59:46Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)
• Adaptive Attacks Break Defenses Against Indirect Prompt Injection Attacks on LLM Agents [3.5248694676821484]
  我々は8つの異なる防御効果を評価し、それら全てを適応攻撃を用いてバイパスし、連続して50%以上の攻撃成功率を達成する。 本研究は,ロバスト性と信頼性を確保するために,防御設計における適応攻撃評価の必要性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-02-27T04:04:50Z)
• Practical Evaluation of Adversarial Robustness via Adaptive Auto Attack [96.50202709922698]
  実用的な評価手法は、便利な(パラメータフリー)、効率的な(イテレーションの少ない)、信頼性を持つべきである。 本稿では,パラメータフリーな適応オートアタック (A$3$) 評価手法を提案する。
  論文  参考訳（メタデータ） (2022-03-10T04:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。