論文の概要: SEAL: Sealed Queries for Local Sanitization against Indirect Prompt Injection
- arxiv url: http://arxiv.org/abs/2610.39758v1
- Date: Thu, 29 Oct 2026 10:11:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:45:02.01699
- Title: SEAL: Sealed Queries for Local Sanitization against Indirect Prompt Injection
- Title（参考訳）: SEAL: 間接プロンプト注入に対する局所衛生のためのシーリークエリ
- Abstract要約: SEALはソフトプロンプトを学習し、フリーズされたタスクモデルを使用してツール出力を正当化するためにオフラインでリードアウトをスコアする。
コンテキストトークンをまたいで正規化せずにトークンをスコアし、有用な証拠の保持を促進するために保存正則化を使用する。
AgentDojoとAgentDynにまたがって、SEALはアタック時のタスク完了を改善しながら、アタックを抑える。
- 参考スコア（独自算出の注目度）: 2.5315729179239637
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Indirect prompt injection threatens local LLM agents through untrusted tool outputs, motivating defenses that suppress attacks while preserving task evidence under limited inference budgets. We introduce SEAL, which learns a soft prompt and scoring readout offline to sanitize tool outputs using a frozen task model. SEAL constructs scoring queries from trusted initial context and the learned prompt, keeping the reference independent of inspected tool text. It scores tokens without normalization across context tokens and uses preservation regularization to encourage retention of useful evidence during localized deletion. This design requires neither defense-generated tokens nor a separate verifier model. Across AgentDojo and AgentDyn, SEAL suppresses attacks while improving task completion under attack. Specifically, on AgentDojo, SEAL reduces attack success from 34.6\% to 0.1\% and increases Joint---task completion without attack success---from 51.4\% to 77.5\%, while using approximately $127\times$ fewer defense-related tokens than PISanitizer, a state-of-the-art prompt injection defense. Replication on a second backbone with the same training recipe supports applicability across model families.
- Abstract（参考訳）: 間接的なプロンプトインジェクションは、信頼できないツールアウトプットを通じてローカルLLMエージェントを脅かし、限られた推論予算の下でタスクエビデンスを保持しながら攻撃を抑制する防御を動機付ける。
ソフトプロンプトを学習し、オフラインで読み出しをスコアリングし、凍結タスクモデルを用いてツール出力を衛生化するSEALを導入する。
SEALは、信頼された初期コンテキストと学習したプロンプトからクエリをスコアリングし、検査済みのツールテキストとは独立して参照を保持する。
コンテキストトークンをまたいで正規化せずにトークンをスコアし、保存正則化を使用して、局所的な削除時に有用な証拠の保持を促進する。
この設計では、防御生成トークンも別個の検証モデルも必要としない。
AgentDojoとAgentDynにまたがって、SEALはアタック時のタスク完了を改善しながら、アタックを抑える。
具体的には、AgentDojoにおいて、SEALは攻撃の成功を34.6\%から0.1\%に減らし、攻撃の成功を伴わない共同タスク完了を51.4\%から77.5\%に引き上げる。
同じトレーニングレシピを持つ第2のバックボーンのレプリケーションは、モデルファミリ間の適用性をサポートする。
関連論文リスト
- RAISED: Self-Distillation for Robustness to Prompt Injection in LLM Agents [3.8960790912254772]
既存の訓練時間防衛は、攻撃の成功率を減らすことができるが、多くの場合、一般的な能力の犠牲になる。
トレーニングベースの防御は,モデルの出力分布にかなりのドリフトを生じさせることを示す。
自己生成と自己蒸留を組み合わせたトレーニングフレームワークであるRAISEDを紹介する。
論文 参考訳（メタデータ） (2026-10-05T14:21:30Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation [11.545542144576395]
プロンプトインジェクションはAIエージェントに対する第1の脅威としてリストされている。
本稿では,トークンレベルのフィードバックによって微調整を誘導するSecure On-Policy Distillation (SecOPD)を提案する。
SecOPDは、SoTA PISmith適応的インジェクションに対して9.0%のASRを達成するが、以前のSoTAのMeta-SecAlignでは94.0%である。
論文 参考訳（メタデータ） (2026-08-21T16:14:07Z) - AutoDojo: Adaptive Black-Box Attacks Reveal the Limits of IPI Defenses and Task-Specification Effects in LLM Agents [57.34566159148893]
間接的プロンプトインジェクション(IPI)は、LLMを動力とするエージェントに対する主要なセキュリティ脅威である。
我々は、特定の防御に対してIPIを最適化するAgentDojoの適応的な拡張であるAutoDojoを開発した。
論文 参考訳（メタデータ） (2026-06-13T02:09:08Z) - AgentShield: Deception-based Compromise Detection for Tool-using LLM Agents [4.36595961990666]
AgentShieldは詐欺ベースの検出フレームワークである。
エージェントのツールインターフェース内に3つのトラップ層を配置する。
攻撃の成功率は90.7%-100%で、485の正常使用試験では誤報はゼロである。
論文 参考訳（メタデータ） (2026-05-10T20:08:27Z) - AttriGuard: Defeating Indirect Prompt Injection in LLM Agents via Causal Attribution of Tool Invocations [38.49666480491258]
LLMエージェントは間接プロンプト注入(IPI)に対して非常に脆弱である
本稿では,特定のツールコールが生成される理由を問うことでエージェントをセキュアにする,アクションレベルの因果属性という新しいパラダイムを提案する。
我々はこのパラダイムを、並列対実テストに基づくランタイムディフェンスであるAttriGuardでインスタンス化する。
論文 参考訳（メタデータ） (2026-03-11T13:23:46Z) - CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution [49.689452243966315]
ツールコール機能を備えたAIエージェントは、IPI(Indirect Prompt Injection)攻撃の影響を受けやすい。
本稿では,選択防衛フレームワークCausalArmorを提案する。
AgentDojoとDoomArenaの実験は、CausalArmorが攻撃的な防御のセキュリティと一致することを示した。
論文 参考訳（メタデータ） (2026-02-08T11:34:08Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳（メタデータ） (2025-12-23T08:42:09Z) - MELON: Provable Defense Against Indirect Prompt Injection Attacks in AI Agents [60.30753230776882]
LLMエージェントは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱であり、ツール検索情報に埋め込まれた悪意のあるタスクはエージェントをリダイレクトして不正なアクションを取ることができる。
マスク機能によって修正されたマスク付きユーザでエージェントの軌道を再実行することで攻撃を検知する新しいIPIディフェンスであるMELONを提案する。
論文 参考訳（メタデータ） (2025-02-07T18:57:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。