論文の概要: Heads of Security: Learned Attention Gates Improve Prompt Injection Robustness

• arxiv url: http://arxiv.org/abs/2610.37657v2
• Date: Fri, 30 Oct 2026 11:18:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.373494
• Title: Heads of Security: Learned Attention Gates Improve Prompt Injection Robustness
• Title（参考訳）: セキュリティ責任者:学習した注意の門は突飛な注入ロバスト性を改善する
• Abstract要約: ヘッドズ・オブ・セキュリティ(Heads of Security、HoS)は、学習した1頭当たりの注意ゲートの小さなセットを通じて、命令データ分離を強制する即時注入防御である。 我々は、HoSがアダプティブアタックに対してより堅牢性を提供し、標準ユーティリティベンチマークのパフォーマンスが向上し、インジェクションベンチマークの上位性能と一致していることを示す。
• 参考スコア（独自算出の注目度）: 69.93016778154076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Heads of Security (HoS), a prompt injection defense that enforces instruction-data separation via a small set of learned per-head attention gates. HoS learns how each head should redistribute attention between trusted and untrusted tokens, enabling models to reason over untrusted content without following injected instructions. We evaluate HoS on Llama-3.3-70B-Instruct and GPT-OSS-20B. We compare it against SecAlign++, a state-of-the-art finetuning-based defense, and ASIDE, a defense that, like ours, builds instruction-data separation into the model architecture. We show that HoS offers greater robustness to adaptive attacks, better performance on standard utility benchmarks, and matches top performance on standard agentic prompt injection benchmarks. More specifically, the black-box RL-Hammer attack reaches 97% ASR against GPT-OSS-20B and 85% against SecAlign, but only 10% against HoS. Claudini, a state-of-the-art white-box attack, strengthened against HoS through autoresearch, requires 3 times more FLOPs to reach the same ASR on HoS as it does on GPT-OSS-20B or SecAlign. HoS preserves base-model utility across standard multiple-choice benchmarks and prompting setups, whereas SecAlign and ASIDE degrade in few-shot settings. On agentic benchmarks with static attacks, HoS and SecAlign perform similarly and substantially improve the security-utility trade-off over the base model. ASIDE struggles with tool use, achieving only 10% utility. These results show that prompt injection robustness can be achieved and improved through targeted attention interventions.
• Abstract（参考訳）: 我々は,学習した1頭当たりの注意ゲートの小さなセットを通じて,命令データ分離を強制するインジェクション・インジェクション・ディフェンスであるHeads of Security(HoS)を紹介した。 HoSは、各ヘッドが信頼できないトークンと信頼できないトークンの間で注意を再分配する方法について学び、インジェクションされた指示に従うことなく、信頼できないコンテンツの推論を可能にする。 Llama-3.3-70B-InstructとGPT-OSS-20BのHoSを評価する。 私たちは、最先端のファインタニングベースのディフェンスであるSecAlign++と、私たちのように、モデルアーキテクチャに命令データ分離を構築するディフェンスであるASIDEを比較します。 我々は,HoSがアダプティブアタックに対するロバスト性の向上,標準ユーティリティベンチマークのパフォーマンス向上,標準エージェントプロンプトインジェクションベンチマークの最高パフォーマンス向上を実現していることを示す。 具体的には、ブラックボックスのRL-Hammer攻撃は、GPT-OSS-20Bに対して97% ASR、SecAlignに対して85%に達するが、HoSに対して10%しかない。 最先端のホワイトボックス攻撃であるClaudiniは、自動検索によってHoSに対して強化され、GPT-OSS-20BやSecAlignと同様のASRに達するために3倍のFLOPを必要とする。 HoSは標準のマルチ選択ベンチマークとプロンプト設定でベースモデルユーティリティを保ち、SecAlignとASIDEは数ショット設定で劣化する。 静的攻撃を伴うエージェントベンチマークでは、HoSとSecAlignも同様に、ベースモデルに対するセキュリティユーティリティトレードオフを大幅に改善する。 ASIDEはツールの使用に苦労し、10%のユーティリティしか達成できません。 これらの結果から, 即時注入の堅牢性を達成し, 注意介入により改善できることが示唆された。

関連論文リスト

• Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents [0.0]
  最近の研究は、間接的プロンプトインジェクションに対するツール使用 LLM エージェントの防御戦略に集約されている。 我々はこれらのアウト・オブ・バンド・ディフェンスを古典的整合性保護の事例として整理する。 我々は、このプロトコルを、Progent自身の適応攻撃解析の独立した複製と拡張として実行している。
  論文  参考訳（メタデータ） (2026-06-25T00:35:23Z)
• Defending against Adaptive Prompt Injection Attacks via Reasoning-enabled Task Alignment [25.752599132396437]
  間接的なプロンプトインジェクションは、エージェントがタスク実行中に検索するサードパーティデータに悪意のある命令を埋め込むことによって、LLMベースのエージェントをハイジャックする。 既存のディフェンスでは、静的なベンチマークでほぼゼロの攻撃成功率を報告しているが、最近のアダプティブ評価では、攻撃者がデプロイされたディフェンスに対して最適化を許せば、これらの結果は崩壊する。 本稿では,攻撃者が制御するデータではなく,ユーザタスクに対する防衛判断を基礎としたトレーニングベースのRETAを提案する。
  論文  参考訳（メタデータ） (2026-06-13T19:15:44Z)
• Black-box, Adaptive, Efficient, Transferable, Harmful, Applicable... Attacks Are All You Need to Break LLMs [47.53613000473204]
  欠陥のある攻撃設計は、ロバスト性の推定を増大させ、デプロイメントのリスク評価と防御比較を信頼できないものにすることができる。 Indirect Harm Optimization (IHO) は、有害判定に対する反復的選好最適化によって訓練された、マスク付き拡散言語モデルアタッカーである。 以上の結果から,IHOは従来,信頼性を向上した標準化されたジェイルブレイク評価への実践的な一歩と位置づけた。
  論文  参考訳（メタデータ） (2026-06-02T13:39:15Z)
• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• Indirect Prompt Injections: Are Firewalls All You Need, or Stronger Benchmarks? [58.48689960350828]
  エージェントインタフェースにおけるシンプルでモジュール的で,モデルに依存しないディフェンスが,高ユーティリティで完全なセキュリティを実現することを示す。 ツール入力ファイアウォール(最小限のファイアウォール)とツール出力ファイアウォール(サニタイザ)の2つのファイアウォールをベースとしたディフェンスを採用している。
  論文  参考訳（メタデータ） (2025-10-06T18:09:02Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。