論文の概要: Where You Inject Matters: The Trust Region Effect in LLM Agents

• arxiv url: http://arxiv.org/abs/2610.38867v1
• Date: Wed, 28 Oct 2026 20:40:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.417315
• Title: Where You Inject Matters: The Trust Region Effect in LLM Agents
• Title（参考訳）: 物質を注入する場所: LLMエージェントの信頼領域効果
• Abstract要約: LLMエージェントは、長期のタスクにおいてますます採用され、多様な外部環境と相互作用する。 能力の増大にもかかわらず、これらのエージェントは間接的なプロンプトインジェクションのような現実世界の攻撃に弱いままである。
• 参考スコア（独自算出の注目度）: 29.34387262761905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents are increasingly adopted in long-horizon tasks and interact with diverse external environments. Despite their growing capabilities, these agents remain vulnerable to real-world attacks such as indirect prompt injections, which manipulate agents through malicious instructions embedded in external environments. While existing risk assessment work has primarily focused on the injection content, the effect of where an injection appears has not been systematically characterized. Studying injection placement requires agents to operate over longer-horizon tasks and interact with diverse environmental surfaces. Thus, we build three agentic testbeds spanning tool use, coding, and daily workflow domains with diverse injection surfaces. Holding the injection content fixed, we find that agent susceptibility varies across injection placements. We refer to this phenomenon as the trust region effect: agents implicitly assign different levels of trust to different regions of their environments. For example, an agent powered by GPT-5.4 follows an unsafe injection instruction placed in a repository documentation file (i.e., a README or TODO file) 2.6 times more often on average than the same instruction placed in a code or data file. Building upon this observation, we develop learning-based attackers that generate injection content and select better injection placements. Our approach demonstrates that both where an injection is placed and what content it contains can affect the strength of indirect prompt injection attacks. To the best of our knowledge, this work provides the first systematic characterization for the effectiveness of different injection placements, spanning both coarse-grained environmental surfaces and fine-grained positions. The uneven trust that agents implicitly place across their environments provides important insights for future attack and defense design.
• Abstract（参考訳）: LLMエージェントは、長期のタスクにおいてますます採用され、多様な外部環境と相互作用する。 これらのエージェントは、能力の増大にもかかわらず、間接的なプロンプトインジェクションのような現実世界の攻撃に弱いままであり、外部環境に埋め込まれた悪意のある命令を通じてエージェントを操作する。 既存のリスクアセスメントは、主に注射内容に焦点を当てているが、注射が現れる場所の影響は体系的に評価されていない。 注入の配置を研究するには、エージェントがより長い水平のタスクで操作し、多様な環境表面と相互作用する必要がある。 このようにして、さまざまなインジェクションサーフェスを持つツールの使用、コーディング、日々のワークフロードメインにまたがる3つのエージェントテストベッドを構築します。 注射内容が固定された場合, 薬剤感受性は注射場所によって異なることが判明した。 エージェントは、その環境の異なる領域に対して異なるレベルの信頼を暗黙的に割り当てる。 例えば、GPT-5.4で動くエージェントは、リポジトリのドキュメントファイル(READMEまたはTODOファイル)に置かれる安全でないインジェクション命令に従う。 この観測に基づいて, インジェクションコンテンツを生成し, より良いインジェクション配置を選択する学習ベースのアタッカーを開発する。 我々のアプローチは、インジェクションが配置された場所と、それに含まれるコンテンツの両方が間接的なインジェクション攻撃の強さに影響を与えることを示した。 我々の知る限り、この研究は、粗粒な環境表面と微粒な位置の両方にまたがって、異なる射出配置の有効性を初めて体系的に評価する。 エージェントが環境全体に暗黙的に配置する不均一な信頼は、将来の攻撃と防衛設計に重要な洞察を与える。

関連論文リスト

• SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents [49.54988737892722]
  自己進化型LDMエージェントは、ハーネスを変更することで、デプロイ後に改善する能力で有名になった。 SEABenchは、エージェントの自己進化から生じる内因性不整合を研究するためのベンチマークである。 自己進化はタスク完了率を高めるが、安全上の失敗の犠牲になることが多い。
  論文  参考訳（メタデータ） (2026-09-28T16:46:25Z)
• Workspace Topology as an Attack Vector in Agentic Coding Assistants [33.84924547762174]
  エージェントコーディングアシスタントは、新しいコード開発だけでなく、サードパーティのコードを素早く取り込み、活用するために広く利用されている。 これにより、これらのコーディングツールが開発者ドメイン内で幅広いアクセスで動作するため、悪意のあるコードが摂取されるリスクが開ける。 本研究では,新しい攻撃面の異なる寸法が敵の急速噴射実験の攻撃成功率に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2026-08-14T20:30:36Z)
• PI-Hunter: Automated Red-Teaming for Exposing and Localizing Prompt Injections [51.8246149916068]
  大きな言語モデル(LLM)は、外部のツールや環境と相互作用するエージェントシステムへと急速に進化しています。 LLMエージェントのプロアクティブな脆弱性暴露のための自動エージェント監査フレームワークPI-Hunterを提案する。
  論文  参考訳（メタデータ） (2026-06-10T22:57:02Z)
• Your Agent is More Brittle Than You Think: Uncovering Indirect Injection Vulnerabilities in Agentic LLMs [32.38053469964495]
  システム間インタラクションを含む拡張されたアクションスペースは、深刻なセキュリティ上の問題を引き起こす。 悪意のある命令をサードパーティのコンテンツ内に隠蔽するIPIは、データ流出などの不正なアクションをトリガーする。 9個のLPMバックボーンにまたがる4つの高度なIPI攻撃ベクトルに対する6つの防御戦略を評価した。
  論文  参考訳（メタデータ） (2026-04-04T21:27:04Z)
• SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
  エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。 フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。 本手法は,現実的な環境下で高い攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-15T16:09:48Z)
• AgentDyn: A Dynamic Open-Ended Benchmark for Evaluating Prompt Injection Attacks of Real-World Agent Security System [44.50700894734539]
  AgentDynは60の挑戦的なオープンエンドタスクと560のインジェクションテストケースを特徴とするベンチマークである。 以前の静的ベンチマークとは異なり、AgentDynは動的プランニングを必要とし、有用なサードパーティの命令を組み込む。 最先端の10つの防衛に関する我々の評価は、既存の防衛のほとんどすべてが十分に安全でないか、重大な過防衛に悩まされていることを示唆している。
  論文  参考訳（メタデータ） (2026-02-03T05:20:42Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。