論文の概要: SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection
- arxiv url: http://arxiv.org/abs/2611.07222v1
- Date: Wed, 04 Nov 2026 23:18:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.467134
- Title: SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection
- Title(参考訳): SPILLWAY: プロンプト注入防止剤の消毒・消毒分離
- Abstract要約: ランタイムディフェンスは、アクションを通過させる決定に言語モデルを置く。
事前防衛は、モデルを最終チェックから外すが、まず各タスクを計画またはルートするモデルが必要である。
SPILLWAYはこの観測を、タスクごとの計画のない決定論的フロアに変える。
- 参考スコア(独自算出の注目度): 6.495453167438153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tool-using agents act on email, files, and payments, so an instruction hidden in a web page or a shared document can make an agent send data or money to an attacker. Many runtime defenses put a language model on the decision that lets an action through, so the decision depends on a model that may read the attacker's text and adds model calls to every step. Provenance defenses keep the model off the final check but need a model to plan or route each task first. Where an action goes can instead be read from the tools' typed returns: an email's sender or a payment's account arrives in a typed field, while injected instructions arrive as free text. SPILLWAY turns this observation into a deterministic floor with no per-task plan. The check admits a call when each target value that appears in tool output but not in the user's task was returned by a read-only tool in a typed field or is covered by a fixed delegation rule. A deterministic sanitizer removes instruction-like regions its fixed rules match before the model reads them and retains the removed spans as evidence, and a local judge may restore a refused call, never one whose target lies in the removed text. Across three backbones, and seven task suites on one of them, no standard templated injection redirects an action to an attacker's target under SPILLWAY, at the highest observed mean utility and composite scores (NRP, ERS) of the defenses we run under that attack. A forged chat template also produces a raw zero, and mean in-scope attack success under a released reinforcement-learning attacker is .007. SPILLWAY reaches this floor with no defense-triggered backbone re-run and almost no added model call. As personal AI agents act on users' email, files, and payments, SPILLWAY gives them an auditable refusal floor on where their actions go that keeps them useful and holds across backbones.
- Abstract(参考訳): ツールを使用するエージェントは、電子メール、ファイル、支払いに作用するため、Webページや共有ドキュメントに隠された命令は、エージェントが攻撃者にデータやお金を送信できる。
多くのランタイムディフェンスは、アクションを通す決定に言語モデルを置いているため、決定は攻撃者のテキストを読み取って、すべてのステップにモデル呼び出しを追加するモデルに依存する。
事前防衛は、モデルを最終チェックから外すが、まず各タスクを計画またはルートするモデルが必要である。
電子メールの送信者または支払いのアカウントがタイプされたフィールドに到着し、インジェクションされた命令がフリーテキストとして到着する。
SPILLWAYはこの観測を、タスクごとの計画のない決定論的フロアに変える。
チェックは、ツール出力に現れるが、ユーザのタスクに含まれていない各ターゲット値が、型付きフィールドの読み取り専用ツールによって返されるか、固定デリゲートルールでカバーされる場合に、呼び出しを許可する。
決定論的サニタイザは、モデルがそれらを読み取る前に、命令のような領域が一定の規則に一致することを排除し、除去されたスパンを証拠として保持する。
3つのバックボーンと、そのうちの1つに7つのタスクスイートがあるが、標準的なテンプレートインジェクションがSPILLWAYの下で攻撃者のターゲットにアクションをリダイレクトすることはない。
偽のチャットテンプレートも生のゼロを生成し、リリースされた強化学習攻撃による顕微鏡内攻撃の成功率は .007 である。
SPILLWAYはこのフロアに到達します。
個人AIエージェントがユーザのメール、ファイル、支払いに作用するので、SPILLWAYは、自分たちのアクションがどこにあるのかを監査可能な拒否フロアを与え、それらが有用であり、バックボーンをまたいで保持する。
関連論文リスト
- SilentCall: Hidden Tool-Call Backdoors in Open-Weight Agents, and How to Catch Them [0.0]
オープンウェイトなツールコールエージェントは、通常はベンチマークスコアと信頼性のある使用記録に採用されている。
モデルパブリッシャは、悪意のある行動を隠蔽しながら、両方を稼ぐエージェントを訓練できることを示す。
ツールを使用するエージェントは、オープンウェイトサプライチェーンを通じて拡散するので、モデルが自身の行動について何を言っているのかを信頼するべきではない。
論文 参考訳(メタデータ) (2026-09-25T21:32:31Z) - Control-Token Injection Suppresses Chain-of-Thought and Defeats Reasoning-Based Oversight in Tool-Using Agents [2.958094879300854]
ツールを使用する言語モデルエージェントの安全性は通常、モデルのみの特性として扱われる。
制御された完全精度の証拠は、そのモデルと、そのチャットテンプレートをレンダリングするソフトウェアの共同プロパティであることを示す。
論文 参考訳(メタデータ) (2026-09-23T08:33:47Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳(メタデータ) (2026-08-27T01:22:14Z) - Beyond Attack-Success Rate: Action-Graded Severity Scale for Tool-Using AI Agents [0.0]
エージェントのレッドチームベンチマークは、インジェクトされたエージェントが単一ビットとして侵入されたかどうかを報告している。
このバイナリ・アタック・サクセス・レートは、ディフェンダーが最も必要とする情報、すなわち、結果として生じるアクションがどれほど有害であるかを破棄する。
本研究では,7段階の順序尺度(L0〜L6)でエージェントのツールコール軌跡をスコアし,実行された動作が可逆性であったか,他者への到達範囲を超えたか,特権を拡大したかに応じて,アクショングレード調和ルーリックを導入する。
論文 参考訳(メタデータ) (2026-07-08T14:38:01Z) - AutoDojo: Adaptive Black-Box Attacks Reveal the Limits of IPI Defenses and Task-Specification Effects in LLM Agents [57.34566159148893]
間接的プロンプトインジェクション(IPI)は、LLMを動力とするエージェントに対する主要なセキュリティ脅威である。
我々は、特定の防御に対してIPIを最適化するAgentDojoの適応的な拡張であるAutoDojoを開発した。
論文 参考訳(メタデータ) (2026-06-13T02:09:08Z) - From Prompt Injection to Persistent Control: Defending Agentic Harness Against Trojan Backdoors [89.92617739143846]
ローカルエージェントハーネスにおけるマルチステップトロイの木馬攻撃を識別するベンチマークであるClawTrojanを紹介する。
そこで我々は,DASGuardを提案する。DASGuardは,コントロールライクなテキストをセンシティブなローカルファイルでスキャンし,その起源を辿り,信頼されたソースから派生しないコントロールコンテンツを除去する。
この結果から, DASGuardは, 実行時の攻撃ブロックと作業空間への衛生的コミットを組み合わせることで, 強力な動的防御を実現することがわかった。
論文 参考訳(メタデータ) (2026-05-29T09:19:07Z) - An Empirical Study of Privacy Leakage Chains via Prompt Injection in Black-Box Chatbot Environments [3.275342475988451]
本稿では,間接的プロンプトインジェクションに基づくプライバシフリー・アタック・チェーンについて検討する。
まず、攻撃者が被疑者の意図したタスクをハイジャックする方法について分析する。
次に、ユーザプロンプトと検索ページの良質な開始を再構成するために、外部コンテンツにブリッジを用いた「例示」と呼ばれる新しいプロンプト言語手法を評価する。
論文 参考訳(メタデータ) (2026-05-18T09:38:18Z) - PlanGuard: Defending Agents against Indirect Prompt Injection via Planning-based Consistency Verification [1.7904458681854372]
PlanGuardは、コンテキスト分離の原則に基づいた、トレーニング不要の防御フレームワークである。
PlanGuardは攻撃を効果的に中和し、アタック成功率(ASR)を72.8%から0%に下げる。
論文 参考訳(メタデータ) (2026-04-11T09:59:46Z) - Mitigating Indirect Prompt Injection via Instruction-Following Intent Analysis [48.70474961584997]
インダイレクト・プロンプト・インジェクション・アタック(IPIA)は大きな言語モデル(LLM)に重大な脅威をもたらす
IntentGuardは、命令追従インテント分析に基づく一般的な防御フレームワークである。
論文 参考訳(メタデータ) (2025-11-30T16:29:04Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳(メタデータ) (2022-11-02T17:05:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。