論文の概要: Blocking at the Boundary: Auditing Long-Horizon Agents against Staged Prompt Injection
- arxiv url: http://arxiv.org/abs/2610.05163v1
- Date: Sun, 04 Oct 2026 12:14:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 22:56:03.351215
- Title: Blocking at the Boundary: Auditing Long-Horizon Agents against Staged Prompt Injection
- Title(参考訳): 境界におけるブロック:段階的プロンプト注入に対する長距離エージェントの検討
- Abstract要約: 間接的なプロンプトインジェクションはタスク固有のコンテキストを活用でき、因果的に接続されたステージを伝播し、ワークフローが継続している間に連続的なアクションを変更する。
自動でフィードバックを誘導する攻撃生成パイプラインを構築し、ネイティブランタイムのClaude CodeとCodexに適用します。
提案するPath-Aligned Attribution (PAA) は,動作中の動作を操作要素に分解し,各値のそれぞれをトレースし,各決定を導出する訓練不要監査機である。
- 参考スコア(独自算出の注目度): 10.519665216212976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon agents consume external content, invoke tools, and modify persistent state. Indirect prompt injection can exploit task-specific context, propagate across causally connected stages, and alter a consequential action while the workflow continues; we term this staged prompt injection. We build an automated, feedback-guided attack generation pipeline and apply it to Claude Code and Codex in their native runtimes. The confirmed attacks span eight workflow scenarios, seven attack goals, and six injection surfaces, showing that production agents are vulnerable to context-aware, multi-step injection over long horizons. Stopping such attacks requires a decision before each consequential action: input screening and completed-run evaluation cannot locate the intervention point, and existing pre-action methods use incompatible units and labels. We therefore formulate boundary action auditing: given initial context, a trajectory prefix, and a fully specified pending message or tool call, an auditor predicts Pass or Block before its effect occurs. Pairing attacked and benign executions yields a 479-pair, 3,112-unit benchmark. We further propose Path-Aligned Attribution (PAA), a training-free auditor that decomposes pending actions into operative elements and traces what supplied each value and guided each decision. PAA blocks only when the model attributes an unwarranted, material effect on an element to an attacker-reachable source that either provides unqualified steering or conflicts with visible evidence. Under full-benchmark fail-open scoring with Claude Sonnet 5, PAA reaches 86% Block recall at a 6-8% false-block rate (FBR), whereas ARGUS reaches 44-47% recall at 16-33% FBR. Under the same backend, on the tool calls that all three auditors natively support, PAA has higher recall and lower FBR than VIGIL and ARGUS; all paired 95% confidence intervals exclude zero.
- Abstract(参考訳): ロングホライゾンエージェントは外部コンテンツを消費し、ツールを呼び出し、永続的な状態を修正する。
間接的なプロンプトインジェクションはタスク固有のコンテキストを活用でき、因果的に連結されたステージを伝播し、ワークフローが継続している間に連続的なアクションを変更する。
自動でフィードバックを誘導する攻撃生成パイプラインを構築し、ネイティブランタイムのClaude CodeとCodexに適用します。
確認された攻撃は8つのワークフローシナリオ、7つの攻撃目標、6つのインジェクションサーフェスにまたがる。
入力のスクリーニングと完了した評価は介入ポイントを見つけることができず、既存のプリアクションメソッドは互換性のないユニットとラベルを使用する。
したがって、境界動作監査を定式化する: 初期コンテキスト、軌跡プレフィックス、完全に指定された保留メッセージまたはツールコールが与えられた場合、監査者はその効果が起こる前にパスまたはブロックを予測する。
攻撃と良性の実行のペアリングは、479ペア、3,112ユニットのベンチマークをもたらす。
提案するPath-Aligned Attribution (PAA) は,動作中の動作を操作要素に分解し,各値が提供されたものを追跡し,各決定を導出する訓練不要監査機である。
PAAは、モデルが不正で物質的な効果を要素に与える場合にのみブロックする。
クロード・ソネット5でのフルベンチマーク・フェールオープンスコアでは、PAAはブロックリコールを6-8%の偽ブロックレート(FBR)で86%、ARGUSは44-47%のリコールを16-33%で達成した。
同じバックエンドでは、3人全員がネイティブにサポートしているツールコールで、PAAはVIGILやARGUSよりも高いリコールと低いFBRを持ち、95%の信頼区間はゼロである。
関連論文リスト
- PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents [27.303145899045074]
本稿では、PACE(Provenance-Aware Capability Enforcement)を紹介し、実行直前にすべてのツールコールを仲介する。
PACEは、提案されたブロックの後に認証された呼び出しを復元したり、宣言された修復を適用することができる。
スケールの縮小された適応探索は、0/30の不正なターゲットで防御に成功している。
論文 参考訳(メタデータ) (2026-10-01T09:18:05Z) - pikit: A Composable Toolkit for Indirect Prompt Injection Research and Evaluation [7.908421631813947]
間接的プロンプトインジェクションは、LSMベースのエージェントによって検索された外部コンテンツに悪意のある命令を埋め込む。
我々は、これらの脅威を3つのコア次元にわたって評価するために設計された研究ツールキットであるPikitを紹介する。
pikitはデコレータベースのレジストリ上に構築されており、コアコードを変更することなく、カスタムコンポーネントのシームレスな拡張を可能にする。
論文 参考訳(メタデータ) (2026-09-29T06:28:36Z) - SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。
操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。
SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
論文 参考訳(メタデータ) (2026-08-31T03:39:43Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳(メタデータ) (2026-08-27T01:22:14Z) - When Collaboration Becomes a Trigger: Collective Evidence-Threshold Backdoors in Multi-Agent Systems [57.450132281381066]
ピアエビデンスが単一のメッセージによって決定されるのではなく、隠れたしきい値に達すると、バックドアの動作が起動される。
我々は,MASとBundary-Conditioned Backdoor Injection(BCBI)のための集合的エビデンス-ホールドバックドアパラダイムを導入する。
クリーンな通信力学を学習し,異常なエージェント更新を隔離する,クリーンな唯一の潜時防御であるLATTEを提案する。
論文 参考訳(メタデータ) (2026-08-02T08:38:44Z) - Stop Means Stop: Measuring and Repairing the Enforcement Gap in Agent-Framework Control Primitives [0.0]
この契約は、広く使用されている6つのオープンソースフレームワークのどれにも当てはまらない。
モデルフリーディファレンシャルプローブは、繰り返し発生するシリングリークを分離する。
SoundGATEは環境外部のRustゲートであり、すべての副作用を認めなければならない。
論文 参考訳(メタデータ) (2026-07-15T05:55:38Z) - Beyond Attack-Success Rate: Action-Graded Severity Scale for Tool-Using AI Agents [0.0]
エージェントのレッドチームベンチマークは、インジェクトされたエージェントが単一ビットとして侵入されたかどうかを報告している。
このバイナリ・アタック・サクセス・レートは、ディフェンダーが最も必要とする情報、すなわち、結果として生じるアクションがどれほど有害であるかを破棄する。
本研究では,7段階の順序尺度(L0〜L6)でエージェントのツールコール軌跡をスコアし,実行された動作が可逆性であったか,他者への到達範囲を超えたか,特権を拡大したかに応じて,アクショングレード調和ルーリックを導入する。
論文 参考訳(メタデータ) (2026-07-08T14:38:01Z) - MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents [2.1942030377331245]
コーディングエージェントは、しばしばプロンプト毎の安全性レビューをパスするが、それらのタスクが通常のエンジニアリングチケットに分解されると、悪用可能なコードを出荷する。
199個の3段階攻撃チェーンのベンチマークであるMOSAIC-Benchを紹介する。
9つのプロダクションコーディングエージェントが53~86%の終末ASRで無害なチケットを構成しており、全ステージで2回しか拒否しないことを示す。
論文 参考訳(メタデータ) (2026-05-05T16:38:23Z) - When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents [50.5814495434565]
この研究は、コンピュータ利用エージェント(CUA)における不整合検出を定義し、研究する最初の試みである。
実世界のCUAデプロイメントにおける3つの一般的なカテゴリを特定し、人間の注釈付きアクションレベルのアライメントラベルを用いたリアルな軌跡のベンチマークであるMisActBenchを構築した。
本稿では,実行前に不整合を検知し,構造化されたフィードバックによって繰り返し修正する,実用的で普遍的なガードレールであるDeActionを提案する。
論文 参考訳(メタデータ) (2026-02-09T18:41:15Z) - CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution [49.689452243966315]
ツールコール機能を備えたAIエージェントは、IPI(Indirect Prompt Injection)攻撃の影響を受けやすい。
本稿では,選択防衛フレームワークCausalArmorを提案する。
AgentDojoとDoomArenaの実験は、CausalArmorが攻撃的な防御のセキュリティと一致することを示した。
論文 参考訳(メタデータ) (2026-02-08T11:34:08Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳(メタデータ) (2026-01-15T08:23:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。