論文の概要: IterInject: Indirect Prompt Injection Against LLM Agents via Feedback-Guided Iterative Optimization
- arxiv url: http://arxiv.org/abs/2605.24659v1
- Date: Sat, 23 May 2026 17:00:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:18.299824
- Title: IterInject: Indirect Prompt Injection Against LLM Agents via Feedback-Guided Iterative Optimization
- Title(参考訳): IterInject: フィードバック誘導反復最適化によるLDMエージェントへの間接的プロンプト注入
- Authors: Zixuan Chen, Jiaxiang Chen, Li Luo, Ke Xu, Xiaoxiang Huang, Tanfeng Sun, Xinghao Jiang,
- Abstract要約: 既存の攻撃は、エージェント固有の防御に適応できない静的ペイロードに依存している。
インジェクション,診断,診断のループを閉じるフィードバック誘導反復型フレームワークである oursys を導入する。
ステップは、失敗パターンから新しい偽の種を生成し、戦略空間を自己進化させる。
- 参考スコア(独自算出の注目度): 33.58630045185762
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-based agents are increasingly deployed for complex tasks requiring planning, tool use, and interaction with external services. Their reliance on untrusted external content exposes them to indirect prompt injection (IPI), in which adversarial instructions embedded in retrieved data hijack agent behavior. Existing attacks rely on static payloads that cannot adapt to agent-specific defenses; even recent adaptive methods lack structured feedback to guide optimization. We introduce \oursys, a feedback-guided iterative framework that closes the loop between injection, diagnosis, and refinement: a rule-based diagnoser produces structured outcome labels with behavioral descriptions, and an LLM-based optimizer refines payloads conditioned on the full optimization history. A synthesis step generates new disguise seeds from failure patterns, enabling the strategy space to self-evolve. On AgentDojo and InjectAgent, \oursys substantially outperforms static baselines and existing adaptive methods across four victim models. Extension experiments on Claude Code, a production-grade coding agent with layered defenses, show that optimized payloads achieve full success on 5 of 9 targets; even those that resist full exploitation exhibit measurable improvement from iterative refinement. We further present a mechanistic analysis of IPI, identifying an attention-mediated threshold mechanism in mid-to-late layers; three causal interventions validate this finding and point to concrete defense directions.
- Abstract(参考訳): LLMベースのエージェントは、計画、ツールの使用、外部サービスとのインタラクションを必要とする複雑なタスクに対して、ますます多くデプロイされている。
信頼できない外部コンテンツへの依存は間接的プロンプトインジェクション(IPI:indirect prompt Injection)に露呈する。
既存の攻撃は、エージェント固有の防御に適応できない静的ペイロードに依存している。
ルールベースの診断器は、行動記述を伴う構造化結果ラベルを生成し、LLMベースの最適化器は、全最適化履歴に規定されたペイロードを洗練する。
合成ステップは、障害パターンから新しい偽の種を生成し、戦略空間を自己進化させる。
AgentDojoとInjectAgentでは、Shaoursysは4つの犠牲者モデルで静的ベースラインと既存の適応メソッドを大幅に上回っている。
層状防御を備えたプロダクショングレードのコーディングエージェントであるClaude Codeのエクステンション実験では、最適化されたペイロードが9つのターゲットのうち5つで完全な成功を達成している。
さらに,中~後期層における注意を介するしきい値機構を同定し,その発見と具体的な防御方向を示す3つの因果的介入について,IPIの力学解析を行った。
関連論文リスト
- DLLM Agent: See Farther, Run Faster [94.74432470237817]
拡散大言語モデル(DLLM)は、自己回帰(AR)デコーディングの代替として、魅力的な効率とモデリング特性を持つ。
我々は、DLLMとARのバックボーンを同一のエージェントワークフロー内でインスタンス化することで、制御された環境でこれを研究する。
DLLMエージェントはARエージェントよりも平均30%以上速く、場合によっては8倍のスピードアップを達成している。
論文 参考訳(メタデータ) (2026-02-07T09:01:18Z) - ATLAS : Adaptive Self-Evolutionary Research Agent with Task-Distributed Multi-LLM Supporters [6.13905106667213]
ATLASは、軽量な研究エージェントを反復的に開発するタスク分散フレームワークである。
我々のコアアルゴリズムであるEvolving Direct Preference Optimization (EvoDPO)は、位相インデックス付き参照ポリシーを適応的に更新する。
その結果,ATLASは静的単一エージェントベースラインの安定性と性能を向上させることがわかった。
論文 参考訳(メタデータ) (2026-02-02T19:23:33Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳(メタデータ) (2026-01-15T08:23:38Z) - Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。
ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。
実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
論文 参考訳(メタデータ) (2025-10-06T14:48:39Z) - STARec: An Efficient Agent Framework for Recommender Systems via Autonomous Deliberate Reasoning [54.28691219536054]
我々は、自律的な熟考的推論機能を備えたレコメンデータシステムを支援する、ゆっくり考えられた拡張エージェントフレームワークSTARecを紹介する。
我々は,先進的推論モデルと嗜好整合型報酬形成から構造化知識の蒸留を組み合わせた2段階のパラダイムであるアンカー強化訓練を開発する。
MovieLens 1MとAmazon CDsベンチマークの実験では、STARecは最先端のベースラインと比較して、大幅なパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2025-08-26T08:47:58Z) - Agentic Reinforced Policy Optimization [66.96989268893932]
検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。
現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。
エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
論文 参考訳(メタデータ) (2025-07-26T07:53:11Z) - Training Agents with Weakly Supervised Feedback from Large Language Models [19.216542820742607]
本稿では,批判的LSMからの弱教師付き信号を用いたLSMエージェントの新しいトレーニング手法を提案する。
エージェントは反復的に訓練され、まず環境相互作用を通じて軌道を生成する。
API-bankデータセットのテストでは、エージェントの能力とGPT-4に匹敵するパフォーマンスが一貫して改善されている。
論文 参考訳(メタデータ) (2024-11-29T08:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。