論文の概要: Readable Before Actionable: Causal Tracing of Indirect Prompt Injection

• arxiv url: http://arxiv.org/abs/2610.05295v1
• Date: Sun, 04 Oct 2026 15:16:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 21:57:39.324512
• Title: Readable Before Actionable: Causal Tracing of Indirect Prompt Injection
• Title（参考訳）: Readable Before Actionable: Causal Tracing of Indirect Prompt Injection
• Abstract要約: 役割の復号化は内容や形式の変化を生き残る。 AgentDojoでは、ハイジャックおよび抵抗されたトレーニングトラジェクトリから推定される方向が、事前アクションおよびインジェクトされたスパンポジションでの攻撃成功を減少させる。 学習チャネルのサブスペースを除去することは役割の復号を保ちながら、効果的な干渉方向はテストチャネル間での伝達が不十分である。
• 参考スコア（独自算出の注目度）: 19.666322208918473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Indirect prompt injection causes LLM agents to follow commands embedded in external data. A probe may distinguish instructions from data without identifying a state edit that changes the next action. We study this gap through counterfactual role probes, component-wise activation patching, and separate interventions on AgentDojo trajectories. Role decoding survives changes in content and format. In controlled Qwen tests, it precedes strong tool-choice effects from patches along an independently estimated role direction. On AgentDojo, directions estimated from hijacked and resisted training trajectories reduce attack success at pre-action and injected-span positions, but have little effect at random positions. In longer Qwen trajectories, single-position edits become less effective at later layers; span-wide and repeated edits reduce attack success on the same evaluation set. Removing the learned channel subspace preserves role decoding, yet effective intervention directions transfer poorly across the tested channels. These findings distinguish a readable role signal from an effective behavioral intervention: depth matters in controlled tool choice, while position and context also matter in attack trajectories.
• Abstract（参考訳）: 間接的なプロンプトインジェクションにより、LLMエージェントは外部データに埋め込まれたコマンドに従う。 プローブは、次のアクションを変更する状態編集を特定することなく、データと命令を区別することができる。 本稿では,このギャップをAgentDojoトラジェクトリに対する反実的ロールプローブ,コンポーネントワイドアクティベーションパッチ,および個別の介入を通じて検討する。 役割の復号化は内容や形式の変化を生き残る。 制御されたQwenテストでは、独立して推定された役割方向に沿ってパッチによる強力なツール選択効果が先行する。 AgentDojoでは、ハイジャックおよび抵抗されたトレーニング軌跡から推定される方向は、前アクションおよびインジェクションされたスパン位置での攻撃成功を減少させるが、ランダムな位置での効果はほとんどない。 より長いQwen軌道では、単一配置編集は後続の層では効果が低下する。 学習チャネルのサブスペースを除去することは役割の復号を保ちながら、効果的な干渉方向はテストチャネル間での伝達が不十分である。 これらの知見は、効果的な行動介入(制御ツール選択における深度の問題)と、攻撃経路における位置と文脈も重要な役割信号とを区別する。

関連論文リスト

• Learning When and How to Intervene: A Hindsight-Distilled Sentinel for Coding Agents [11.392677007699362]
  HiSentinelは、センチネルをプレエグゼクティションの介入を選択するために訓練する、後光蒸留フレームワークである。 SWE-Interveneは、ソフトウェアエンジニアリング軌道から構築されたアクションレベルデータセットである。 その結果、HiSentinelは、Sentinelスケールとコーディングエージェントファミリーのタスク補完を一貫して改善していることがわかった。
  論文  参考訳（メタデータ） (2026-09-30T15:26:16Z)
• AutoIntervene: Calibrated Intervention for Action-Chunking Imitation Learning Policies [4.786936073180585]
  アクションチャンキングビズモータポリシは、デモから学び、時間的一貫性を改善する。 デプロイ中にアクションチャンキングポリシーとオペレータ間で制御を選択的に転送するオンラインフレームワークであるAutoInterveneを提案する。
  論文  参考訳（メタデータ） (2026-08-07T10:14:29Z)
• Do Modules Stay in Their Lane? Role Drift in Compound LLM Systems [0.66816887202191]
  Role Driftは、割り当てられた役割から逸脱したモジュールがシステムレベルの評価には見えない障害モードである。 エンドツーエンドのトレーニングにおいて,各モジュールが割り当てられた役割からどの程度逸脱するかを調節するレギュレータであるRole Anchorを提案する。
  論文  参考訳（メタデータ） (2026-07-07T22:31:23Z)
• Backdoor Directions in Vision Transformers [56.382912038371046]
  本稿では,視覚変換器(ViT)におけるバックドアアタックの表現方法について検討する。 我々は、トリガーの内部表現に対応するモデルのアクティベーションにおいて、特定のトリガー方向'を識別する。 この方向を診断ツールとして使用して、バックドア機能が層間でどのように処理されるかを追跡する。
  論文  参考訳（メタデータ） (2026-03-11T14:13:48Z)
• Defense Against Indirect Prompt Injection via Tool Result Parsing [5.69701430275527]
  LLMエージェントは間接的なプロンプトインジェクションからエスカレートする脅威に直面している。 この脆弱性は、エージェントが物理的な環境をより直接的に制御するようになると、重大なリスクをもたらす。 そこで本稿では,LLMに対してツール解析による正確なデータを提供するとともに,注入された悪意のあるコードを効果的にフィルタリングする手法を提案する。
  論文  参考訳（メタデータ） (2026-01-08T10:21:56Z)
• TopicAttack: An Indirect Prompt Injection Attack via Topic Transition [92.26240528996443]
  大規模言語モデル(LLM)は間接的なインジェクション攻撃に対して脆弱である。 提案するTopicAttackは,LLMに生成した遷移プロンプトを生成し,徐々にトピックをインジェクション命令にシフトさせる。 提案手法は, インジェクトからオリジナルへのアテンション比が高く, 成功確率が高く, ベースライン法よりもはるかに高い比を達成できることがわかった。
  論文  参考訳（メタデータ） (2025-07-18T06:23:31Z)
• Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
  InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。 InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
  論文  参考訳（メタデータ） (2025-05-08T13:04:45Z)
• Can Indirect Prompt Injection Attacks Be Detected and Removed? [94.67980597764245]
  間接的インジェクション攻撃の検出・除去の可能性について検討した。 検出のために,既存のLCMとオープンソースの検出モデルの性能を評価する。 そこで本研究では,(1) インジェクション命令を含む部分をセグメント化して除去するセグメンテーション除去法,(2) 抽出モデルを訓練してインジェクション命令を識別・除去する抽出除去法,の2つの直感的手法を評価する。
  論文  参考訳（メタデータ） (2025-02-23T14:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。