論文の概要: SpanGuard: Decoupling Instruction Localization from Authorization for Lightweight IPI Defense

• arxiv url: http://arxiv.org/abs/2610.26013v1
• Date: Mon, 19 Oct 2026 08:36:20 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:16:04.118823
• Title: SpanGuard: Decoupling Instruction Localization from Authorization for Lightweight IPI Defense
• Title（参考訳）: SpanGuard: 軽量IPI防衛の認可から命令のローカライゼーションを分離する
• Abstract要約: 我々は,攻撃に依存しない位置決めを行う軽量IPIガードレールを設計し,ブロックレベルの認証判定を行う。 本手法は,強い防御性能を維持しつつ,ガードレールモデルに必要な性能を大幅に低下させる。
• 参考スコア（独自算出の注目度）: 56.72512373532936
• License:
• Abstract: LLM-based guardrails are effective against indirect prompt injection (IPI), but their performance depends heavily on model capability: as the guardrail model becomes smaller or weaker, detection degrades substantially. This raises a natural question: can we retain strong IPI defense while relying only on a small LLM? To understand why, we revisit what an LLM guardrail actually does. Detecting IPI requires simultaneously locating potentially injected instructions within heterogeneous tool outputs and judging whether they are authorized by the user's request. We find that the difficulty for small models arises largely from satisfying both requirements jointly, rather than from either subproblem alone. This suggests a different path to lightweight defense: explicitly decoupling localization from decision-making. In particular, localization needs no strong language-model reasoning, since injected instructions are often semantically discontinuous with their surrounding content and can be partitioned into local regions via lightweight unsupervised segmentation. Once the observation is partitioned this way, the remaining authorization check becomes a localized judgment that a small LLM can handle. Building on this insight, we design a lightweight IPI guardrail that performs attack-agnostic localization followed by block-level authorization judgment with a small language model. By separating where to look from what to decide, our approach substantially reduces the capability required of the guardrail model while preserving strong defense performance. Empirically, our guardrail achieves a 0.32% attack success rate with negligible loss in benign utility while remaining effective with substantially smaller models. These results show that strong IPI defense need not rely on strong LLMs when localization and decision-making are explicitly decoupled.
• Abstract（参考訳）: LLMベースのガードレールは間接的プロンプトインジェクション(IPI)に対して有効であるが、その性能はモデル能力に大きく依存する。 小さいLLMにのみ依存しながら、強力なIPI防御を維持できるのか? LLMガードレールが実際に何をするのかを理解するために、我々は再考する。 IPIの検出には、不均一なツール出力内で潜在的に注入された命令を同時に特定し、ユーザの要求によって承認されたかどうかを判断する必要がある。 小モデルの難しさは、サブプロブレムのみからではなく、両方の要件を共同で満たすことから大きく生じる。 これは軽量防衛への別の道のりを示唆している。 特に、インジェクション命令は周囲の内容と意味的に不連続であり、軽量な教師なしセグメンテーションによってローカル領域に分割できるため、ローカライゼーションは強力な言語モデル推論を必要としない。 この方法で観察が分割されると、残りの認証チェックは小さなLLMが扱えるような局所的な判断になる。 この知見に基づいて,攻撃非依存のローカライゼーションを行う軽量IPIガードレールを設計し,その後,小言語モデルを用いたブロックレベルの認証判定を行う。 本手法は, 防御性能を保ちながら, ガードレールモデルに必要な性能を大幅に低下させる。 実証的な結果,我々のガードレールの攻撃成功率は0.32%であり,ベニグニグニグニグニティーの損失は無視できるが,より小型のモデルでは有効であることがわかった。 これらの結果から,強いIPI防御は,局所化と意思決定が明確に分離される場合,強いLLMに頼る必要はないことが示唆された。

関連論文リスト

• Structured but Fragile: On the Limits of LLMs in Cybersecurity Decision-Making [2.4336422314992916]
  大規模言語モデル(LLM)は、サイバーセキュリティにおいてますます使われているが、構造化されたセキュリティ推論を実行できるかどうかは不明だ。 本研究では,現実世界の脅威シナリオから抽出した攻撃グラフに対する防御選択の文脈において,この問題を考察する。 この結果から, LLMは制御された表現下での構造化サイバーセキュリティ推論を近似できるが, 堅牢に適用できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-21T10:39:42Z)
• Decision-Level Hijacking: Injecting Cognitive Bias into Large Language Models via Bit-Flip Attacks [45.528190718580724]
  Bit-Flip攻撃は、決定レベルのハイジャックを誘導するアタックベクターとして機能する。 CogBiasは、大規模言語モデルのための認知バイアス注入フレームワークである。
  論文  参考訳（メタデータ） (2026-07-28T02:59:32Z)
• Locking Pretrained Weights via Deep Low-Rank Residual Distillation [31.050349139080286]
  我々は、適応攻撃者に対する新しい防御手段として、自動微分の推論訓練を利用する。 そこで本研究では,DLR-Lockを提案する。DLR-Lockは,モデルのプリトレーニング済みパラメータを,同値のディープ低ランク残差ネットワーク(DLR-Net)に意図的に置き換える手法である。 我々の防衛は、元のモデルの能力を保ちながら、防御戦略を十分に理解した適応攻撃者に耐えることに成功した。
  論文  参考訳（メタデータ） (2026-05-11T16:09:32Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• Prompt Attack Detection with LLM-as-a-Judge and Mixture-of-Models [0.0]
  プロンプト攻撃は、大規模言語モデルシステムに重大なセキュリティリスクをもたらす。 運用においては、ガードレールは厳格な低遅延制約の下でこれらの攻撃を軽減する必要がある。 本研究では, LLM がライブガードレールの有効低遅延判定に有効であることを示す。
  論文  参考訳（メタデータ） (2026-03-26T08:47:53Z)
• PSM: Prompt Sensitivity Minimization via LLM-Guided Black-Box Optimization [0.0]
  本稿では,シールド付加によるシステムプロンプト硬化のための新しいフレームワークを提案する。 我々は、LSM-as-optimizerを利用してShiELDの空間を探索し、敵攻撃の組から導かれる漏洩量を最小限に抑える。 最適化されたShielDは、包括的な抽出攻撃に対する急激なリークを著しく低減することを示した。
  論文  参考訳（メタデータ） (2025-11-20T10:25:45Z)
• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
  InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。 InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
  論文  参考訳（メタデータ） (2025-05-08T13:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。