論文の概要: CoDeL: Co-Evolutionary Defense against Indirect Prompt Injection in LLM-based Agents

• arxiv url: http://arxiv.org/abs/2609.34463v1
• Date: Mon, 28 Sep 2026 07:19:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 13:24:03.743557
• Title: CoDeL: Co-Evolutionary Defense against Indirect Prompt Injection in LLM-based Agents
• Title（参考訳）: CoDeL:LSM系薬剤の間接プロンプト注入に対する共進化的防御
• Abstract要約: 大言語モデル(LLM)ベースのエージェントは、外部ツールやコンテンツに依存しやすくなり、間接的プロンプトインジェクション(IPI)に露出する。 本稿では,攻撃分布に対してエージェントを硬化させる防御剤であるCoDeLについて述べる。
• 参考スコア（独自算出の注目度）: 30.156822744692743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM)-based agents increasingly rely on external tools and content, exposing them to indirect prompt injection (IPI). This threat has motivated a wide range of defenses, among which training-based defenses are often regarded as most reliable. However, existing training-based defenses are typically optimized on a static distribution of explicit injections. They learn surface-form cues rather than the boundary between serving the user and obeying an injected objective, and therefore fail when malicious intent is folded into a plausible workflow and deferred for several turns. We present CoDeL, a defense that hardens agent against an attack distribution it reshapes as it trains. The defender is updated each round via LoRA-based GDPO under a decoupled reward over safety, task progress, and format compliance, so refusing injections and completing the user's task jointly define fitness. To keep supplying it with the failures worth learning from, a co-evolving prober searches over injection rounds, attack methods, and payloads for injections that still penetrate the current defender, guided jointly by attack success and attack latency so that it preferentially mines breaches the defender notices too late. Each defender update invalidates part of the attack population and forces the next round onto a new frontier, turning the defender's own failures into a moving curriculum. Extensive experiments on three IPI benchmarks, nine baselines, and two base models show that CoDeL reduces attack success rate (ASR) by 88.5% and outperforms other baselines largely (+38.0%). Codes are available.
• Abstract（参考訳）: 大言語モデル(LLM)ベースのエージェントは、外部ツールやコンテンツに依存しやすくなり、間接的プロンプトインジェクション(IPI)に露出する。 この脅威は広い範囲の防衛を動機付けており、その中では訓練ベースの防衛がしばしば最も信頼できると見なされている。 しかし、既存のトレーニングベースのディフェンスは通常、明示的なインジェクションの静的分布に最適化されている。 ユーザへのサービス提供と注入対象への従属という境界よりも、表面形状のキューを学習するので、悪意のある意図が妥当なワークフローに折り畳まれて、数回にわたって延期されると失敗する。 本稿では,攻撃分布に対してエージェントを硬化させる防御剤であるCoDeLについて述べる。 ディフェンダーはLoRAベースのGDPOを通じて各ラウンドを更新し、安全性、タスクの進捗、フォーマットのコンプライアンスを分離して、インジェクションを拒否し、ユーザのタスクを完了することで、フィットネスを共同で定義する。 そこから学ぶべき障害を補うために、射出ラウンド、攻撃方法、そして現在のディフェンダーにまだ浸透しているインジェクションのためのペイロードを共同で探索し、攻撃の成功と攻撃遅延によってガイドし、優先的にディフェンダーの通知を盗み取る。 各ディフェンダーのアップデートは攻撃人口の一部を無効にし、次のラウンドを新たなフロンティアに強制し、ディフェンダー自身の失敗を移動カリキュラムに変える。 IPIの3つのベンチマーク、9つのベースライン、2つのベースモデルに対する大規模な実験は、CoDeLが攻撃成功率(ASR)を88.5%削減し、他のベースライン(+38.0%)を上回っていることを示している。 コードは利用可能。

関連論文リスト

• CoER: Defending against Adaptive Indirect Prompt Injection via Adversarial Co-Evolution and Refinement [19.128257554975104]
  言語モデルエージェントは、ツール使用中に間接的プロンプトインジェクション(IPI)に対して脆弱である。 検証器を用いた共進化・改良フレームワークであるCoERを提案する。 主要な7ドメイン評価では、CoERは全体的な攻撃成功を38.5%から0.2%に削減した。
  論文  参考訳（メタデータ） (2026-09-07T14:09:11Z)
• Defending against Adaptive Prompt Injection Attacks via Reasoning-enabled Task Alignment [25.752599132396437]
  間接的なプロンプトインジェクションは、エージェントがタスク実行中に検索するサードパーティデータに悪意のある命令を埋め込むことによって、LLMベースのエージェントをハイジャックする。 既存のディフェンスでは、静的なベンチマークでほぼゼロの攻撃成功率を報告しているが、最近のアダプティブ評価では、攻撃者がデプロイされたディフェンスに対して最適化を許せば、これらの結果は崩壊する。 本稿では,攻撃者が制御するデータではなく,ユーザタスクに対する防衛判断を基礎としたトレーニングベースのRETAを提案する。
  論文  参考訳（メタデータ） (2026-06-13T19:15:44Z)
• The Autonomy Tax: Defense Training Breaks LLM Agents [5.990318568221089]
  安全を改善するために設計された防衛訓練は、高度な攻撃を防ぐのに失敗しながら、エージェントの能力を体系的に破壊する。 我々は,97件のエージェントタスクと1,000件の敵のプロンプトにまたがる無防備なベースラインに対する防御モデルの評価を行った。 その結果,現在の防衛パラダイムは,マルチステップエージェントを基本的に信頼できないようにレンダリングしながら,シングルターンリフェールベンチマークに最適化されていることがわかった。
  論文  参考訳（メタデータ） (2026-03-19T19:33:17Z)
• The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections [74.60337113759313]
  現在のジェイルブレイクとプロンプトインジェクションに対する防御は、通常、有害な攻撃文字列の静的セットに対して評価される。 我々は,この評価プロセスに欠陥があることを論じる。代わりに,攻撃戦略を明示的に修正したアダプティブアタッカーに対する防御を,防衛設計に対抗して評価すべきである。
  論文  参考訳（メタデータ） (2025-10-10T05:51:04Z)
• Coward: Toward Practical Proactive Federated Backdoor Defense via Collision-based Watermark [90.94234374893287]
  我々は、マルチバックドア衝突効果の発見に触発されて、Cowardと呼ばれる新しいプロアクティブディフェンスを導入する。 一般に,サーバから注入された,矛盾するグローバルな透かしが,保持されるのではなく,ローカルトレーニング中に消去されるかどうかを評価することで攻撃者を検出する。
  論文  参考訳（メタデータ） (2025-08-04T06:51:33Z)
• Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models [64.47869632167284]
  従来の言語モデル(LM)の安全性アライメントは、リアクティブで非結合な手順に依存している。 このシーケンシャルなアプローチはミスマッチを生み出し、攻撃者は時代遅れの防御に過度に適合する一方、守備側は出現する脅威に常に遅れをとどめている。 我々は,攻撃者と防御エージェントが継続的なインタラクションを通じて共進化するオンラインセルフプレイ強化学習アルゴリズムであるSelf-RedTeamを提案する。
  論文  参考訳（メタデータ） (2025-06-09T06:35:12Z)
• Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
  Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。 我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
  論文  参考訳（メタデータ） (2023-06-06T11:44:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。