論文の概要: SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2608.21500v1
- Date: Fri, 21 Aug 2026 16:14:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.232269
- Title: SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation
- Title（参考訳）: SecOPD: オンデマンド蒸留による適応型プロンプト注入の軽減
- Abstract要約: プロンプトインジェクションはAIエージェントに対する第1の脅威としてリストされている。
本稿では,トークンレベルのフィードバックによって微調整を誘導するSecure On-Policy Distillation (SecOPD)を提案する。
SecOPDは、SoTA PISmith適応的インジェクションに対して9.0%のASRを達成するが、以前のSoTAのMeta-SecAlignでは94.0%である。
- 参考スコア（独自算出の注目度）: 11.545542144576395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prompt injection is listed as the \#1 threat to AI agents. When an agent accesses external data from websites, files, or emails, an attacker may inject a prompt into the data, saying, "Ignore all prior instructions and perform <an attacker's task>." To prevent arbitrary manipulation of agents, defenders try to train secure LLMs, which, however, still suffer from near 100% attack success rates (ASRs) against adaptive prompt injections. We note that this is because existing defensive finetuning recipes rely on sequence-level feedback signals (in DPO or GRPO). Treating an entire output equally prevents the model from learning precisely which output tokens are insecure. In this paper, we propose Secure On-Policy Distillation (SecOPD) that provides token-level feedback to guide defensive fine-tuning. The LLM receives an injected sample and produces a rollout, whose tokens are scored by the initialization model given the corresponding clean input. With more fine-grained training signals, our defended Qwen3.6-27B achieves a 9.0% ASR against the SoTA PISmith adaptive prompt injections, compared to 94.0% for the prior SoTA, Meta-SecAlign. The obtained security generalizes to domains completely unseen in training: in agentic tool calling, SecOPD achieves a 4.7% ASR compared to 5.5% for Meta-SecAlign. Code and the model are available at https://github.com/pppyb/SecOPD and https://huggingface.co/pybbb/Qwen3.6-27B-SecOPD.
- Abstract（参考訳）: プロンプトインジェクションはAIエージェントに対する#1脅威としてリストされている。
エージェントがウェブサイト、ファイル、メールから外部データにアクセスすると、攻撃者は「すべての事前命令を無視し、攻撃者のタスクを実行する」と、データにプロンプトを注入することができる。
エージェントの任意の操作を防ぐため、ディフェンダーは安全なLSMを訓練しようとするが、アダプティブ・プロンプト・インジェクションに対する攻撃成功率(ASR)は100%近くである。
これは、既存の防御的な微調整レシピがシーケンスレベルのフィードバック信号(DPOやGRPO)に依存しているためである。
アウトプット全体の処理は、モデルがどのアウトプットトークンが安全でないかを正確に学習するのを防ぐ。
本稿では,Secure On-Policy Distillation (SecOPD)を提案する。
LLMは、注入されたサンプルを受け取り、対応するクリーン入力が与えられた初期化モデルによりトークンをスコアするロールアウトを生成する。
よりきめ細かい訓練信号を用いて, 防御されたQwen3.6-27Bは, SoTA PISmith適応的プロンプトインジェクションに対して9.0%のASRを達成し, 従来のMeta-SecAlignでは94.0%であった。
エージェントツールコールでは、SecOPDはMeta-SecAlignの5.5%に比べて4.7%のASRを達成する。
コードとモデルはhttps://github.com/pppyb/SecOPDとhttps://huggingface.co/pybbb/Qwen3.6-27B-SecOPDで入手できる。
関連論文リスト
- Repeat-After-Me: Black-Box Adaptive Visual Prompt Injection [40.37588773528427]
ブラックボックス適応型ビジュアルプロンプトインジェクション攻撃であるRepeat-After-Meを提案する。
本評価では, 1つのサロゲートに最適化された注射は, 2つの商業的犠牲者に対して, 元のASRの43～46%を保持した。
デフォルトのOpenClaw Discordデプロイメントでは、信頼できないユーザは、最小限の注入されたイメージを使用してTOOLS.mdを上書きすることができる。
論文 参考訳（メタデータ） (2026-09-03T22:44:45Z) - Silent Egress: When Implicit Prompt Injection Makes LLM Agents Leak Without a Trace [0.0]
自動生成されたURLプレビューに埋め込まれた敵対的命令は、サイレント・エクスプレスと呼ばれるシステムレベルのリスクをもたらす可能性があることを示す。
完全にローカルで再現可能なテストベッドを使用して、悪意のあるWebページがエージェントを誘導し、機密性の高いランタイムコンテキストを透過するアウトバウンドリクエストを発行できることを実証する。
qwen2.5:7bをベースとした480の実験では、攻撃は高い確率 (P (exress) =0.89) で成功し、95%の攻撃は出力ベースの安全チェックでは検出されない。
論文 参考訳（メタデータ） (2026-02-25T22:26:23Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z) - Defense Against Indirect Prompt Injection via Tool Result Parsing [5.69701430275527]
LLMエージェントは間接的なプロンプトインジェクションからエスカレートする脅威に直面している。
この脆弱性は、エージェントが物理的な環境をより直接的に制御するようになると、重大なリスクをもたらす。
そこで本稿では,LLMに対してツール解析による正確なデータを提供するとともに,注入された悪意のあるコードを効果的にフィルタリングする手法を提案する。
論文 参考訳（メタデータ） (2026-01-08T10:21:56Z) - CommandSans: Securing AI Agents with Surgical Precision Prompt Sanitization [17.941502260254673]
本稿では,データに実行可能命令を含まないという,コンピュータセキュリティの基本原理に着想を得た新しいアプローチを提案する。
サンプルレベルの分類の代わりに,ツール出力からAIシステムに指示された指示を外科的に除去するトークンレベルの衛生プロセスを提案する。
このアプローチは非ブロッキングであり、キャリブレーションを必要とせず、ツール出力のコンテキストに依存しない。
論文 参考訳（メタデータ） (2025-10-09T21:32:02Z) - Backdoor-Powered Prompt Injection Attacks Nullify Defense Methods [95.54363609024847]
大型言語モデル(LLM)はインジェクション攻撃に弱い。
本稿では,即時噴射防御法を無効化するより悪質な攻撃について検討する。
バックドアによるプロンプトインジェクション攻撃は、以前のプロンプトインジェクション攻撃よりも有害である。
論文 参考訳（メタデータ） (2025-10-04T07:11:11Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳（メタデータ） (2025-05-23T08:13:59Z) - Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。
InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
論文 参考訳（メタデータ） (2025-05-08T13:04:45Z) - SecAlign: Defending Against Prompt Injection with Preference Optimization [52.48001255555192]
敵のプロンプトは外部のデータソースに注入され、システムの意図した命令をオーバーライドし、悪意のある命令を実行する。
我々は、好みの最適化技術に基づくSecAlignと呼ばれる新しいディフェンスを提案する。
本手法は,訓練中に見られたものよりもはるかに高度な攻撃に対しても,様々なプロンプトインジェクションの成功率を10%に下げる。
論文 参考訳（メタデータ） (2024-10-07T19:34:35Z) - Backdooring Instruction-Tuned Large Language Models with Virtual Prompt Injection [66.94175259287115]
命令調整型LLMに適した新しいバックドアアタック設定を提案する。
VPI攻撃では、攻撃者が特定した仮想プロンプトがユーザ命令に形式化されたかのように、バックドアモデルが応答することが期待されている。
我々は、モデルの命令チューニングデータに毒を盛ることによって脅威を実証する。
論文 参考訳（メタデータ） (2023-07-31T17:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。