論文の概要: Beyond Over-Refusal: Defending Indirect Prompt Injection via Latent Instruction Manifolds

• arxiv url: http://arxiv.org/abs/2608.22248v1
• Date: Sun, 23 Aug 2026 07:12:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.670803
• Title: Beyond Over-Refusal: Defending Indirect Prompt Injection via Latent Instruction Manifolds
• Title（参考訳）: オーバーリフレクションを超えて:潜在命令マニフォールドによる間接プロンプト注入の予防
• Abstract要約: 大規模言語モデル(LLM)は複雑なエコシステムに統合されている。 LLMは、理論的証拠と経験的証拠の両方で本質的にデータから命令を分離することができる。 AEGIS (Adaptive Ensemble Guard for Injection Shielding) を提案する。
• 参考スコア（独自算出の注目度）: 46.845766815799585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have been integrated into complex ecosystems (e.g., Code Agents), while Indirect Prompt Injection (IPI) attacks have emerged as critical barriers to their safe deployment. Attackers exploit LLMs' indistinguishability between "instructions" and "data" to manipulate LLMs via maliciously injected instructions. Existing defenses, however, face an intractable safety-utility trade-off: most guardrails either incur high latency or suffer from severe over-refusal. In this paper, we first demonstrate that LLMs can separate instruction from data intrinsically with both theoretical and empirical evidence. Inspired by this insight, we propose AEGIS (Adaptive Ensemble Guard for Injection Shielding). AEGIS extracts instruction-sensitive projectors to identify malicious instructions and leverages a Unified Multi-Layer Consensus mechanism that aggregates topologically distinct signals across the network depth. Empirical evaluations show that AEGIS achieves remarkable detection performance against both heuristic and optimization-based attacks compared to baselines, highlighting its potential to mitigate IPI. Code is available at https://github.com/xaddwell/AEGIS
• Abstract（参考訳）: 大規模言語モデル(LLM)は複雑なエコシステム(コードエージェントなど)に統合されているが、間接プロンプトインジェクション(IPI)攻撃は安全なデプロイメントにとって重要な障壁として現れている。 攻撃者はLSMの「命令」と「データ」の区別不能性を悪質に注入された命令を介してLSMを操作するために利用する。 しかし、既存の防衛は、ほとんどのガードレールは高い遅延を発生させるか、厳しい過度な拒絶に悩まされるという、難易度の高い安全ユーティリティのトレードオフに直面している。 本稿では,LLMが理論的および経験的証拠の両方を用いて,データから命令を分離できることを最初に実証する。 この知見にインスパイアされた我々は,AEGIS(Adaptive Ensemble Guard for Injection Shielding)を提案する。 AEGISは、悪意のある命令を識別するために命令に敏感なプロジェクタを抽出し、ネットワーク深度にわたって位相的に異なる信号を集約するUnified Multi-Layer Consensusメカニズムを活用する。 経験的評価は、AIGISがベースラインと比較してヒューリスティック攻撃と最適化攻撃の両方に対して顕著な検出性能を達成し、IPIを緩和する可能性を強調していることを示している。 コードはhttps://github.com/xaddwell/AEGISで入手できる。

関連論文リスト

• AttriGuard: Defeating Indirect Prompt Injection in LLM Agents via Causal Attribution of Tool Invocations [38.49666480491258]
  LLMエージェントは間接プロンプト注入(IPI)に対して非常に脆弱である 本稿では,特定のツールコールが生成される理由を問うことでエージェントをセキュアにする,アクションレベルの因果属性という新しいパラダイムを提案する。 我々はこのパラダイムを、並列対実テストに基づくランタイムディフェンスであるAttriGuardでインスタンス化する。
  論文  参考訳（メタデータ） (2026-03-11T13:23:46Z)
• Defense Against Indirect Prompt Injection via Tool Result Parsing [5.69701430275527]
  LLMエージェントは間接的なプロンプトインジェクションからエスカレートする脅威に直面している。 この脆弱性は、エージェントが物理的な環境をより直接的に制御するようになると、重大なリスクをもたらす。 そこで本稿では,LLMに対してツール解析による正確なデータを提供するとともに,注入された悪意のあるコードを効果的にフィルタリングする手法を提案する。
  論文  参考訳（メタデータ） (2026-01-08T10:21:56Z)
• Know Thy Enemy: Securing LLMs Against Prompt Injection via Diverse Data Synthesis and Instruction-Level Chain-of-Thought Learning [31.790490397086856]
  大規模言語モデル(LLM)統合アプリケーションはますます普及しているが、プロンプトインジェクション(PI)攻撃による重大なセキュリティ上の脆弱性に直面している。 InstruCoTは、多種多様な訓練データを合成し、微調整を指示レベルチェーンで行うPIディフェンスのモデル拡張手法である。
  論文  参考訳（メタデータ） (2026-01-08T07:25:27Z)
• ARGUS: Defending Against Multimodal Indirect Prompt Injection via Steering Instruction-Following Behavior [30.37639002407416]
  MLLM(Multimodal Large Language Models)は、マルチモーダルIPI攻撃に対して脆弱である。 既存の防御は、主にテキストのみのLLM用に設計されており、容易にバイパスされ、モダリティに依存し、あるいは一般化が不十分である。 本稿では,ユーティリティ劣化方向から分離した安全部分空間内の最適な防御方向を探索するARGUSを提案する。
  論文  参考訳（メタデータ） (2025-12-05T14:26:45Z)
• BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
  BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。 BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
  論文  参考訳（メタデータ） (2025-08-11T16:04:47Z)
• Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
  InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。 InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
  論文  参考訳（メタデータ） (2025-05-08T13:04:45Z)
• Robustness via Referencing: Defending against Prompt Injection Attacks by Referencing the Executed Instruction [68.6543680065379]
  大型言語モデル(LLM)はインジェクション攻撃に弱い。 本研究では,LLMの命令追従能力を抑えるのではなく,新たな防御手法を提案する。
  論文  参考訳（メタデータ） (2025-04-29T07:13:53Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。