論文の概要: SecPO: Principled Adversarial Training for Prompt Injection Security
- arxiv url: http://arxiv.org/abs/2610.41998v1
- Date: Fri, 30 Oct 2026 16:43:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.814058
- Title: SecPO: Principled Adversarial Training for Prompt Injection Security
- Title（参考訳）: SecPO: プロンプトインジェクションセキュリティのための原則的逆トレーニング
- Abstract要約: 我々は、強力なインジェクション入力を合成し、その上でモデルを訓練する効率的な対向訓練(AT)パイプラインを訓練する。
我々のATは、Meta-SecAlignと比較して、3つのSoTA適応攻撃に対してASRを1.5-14.5$times$で削減します。
エージェントでは、我々のSecPO + AT Qwen3.6-27BはMeta-SecAlignよりもはるかに安全である。
- 参考スコア（独自算出の注目度）: 13.551181128317443
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recognized as a top threat to AI agents, prompt injection allows instructions from untrusted data (email, documents, websites) to manipulate the agent's operation. The existing best-defended LLM, Meta-SecAlign, is trained with the DPO loss but still suffers from attack success rates (ASRs) approaching 100% under adaptive prompt injections. One reason is that DPO anchors the model around the undefended reference model, which is insecure. We show an idealized reference model---an injection-invariant, utility-preserving oracle---can nevertheless be approximated, as its output distribution in training is interestingly accessible. This new observation motivates a theoretically principled SecPO loss. Another Meta-SecAlign shortcoming is that it trains on weak simulated attacks. We implement an efficient adversarial training (AT) pipeline that synthesizes strong injected inputs (best@240), and train the model on them. Our AT reduces ASRs by 1.5-14.5$\times$ across three SoTA adaptive attacks, compared with Meta-SecAlign; the SecPO loss reduces them by a further 2.4-4.6$\times$ compared with using DPO loss. In agentic workflows, our SecPO + AT Qwen3.6-27B is much more secure than Meta-SecAlign: 8.8% vs. 78.8% AgentDojo ASR@800 under the AttackerMovesSecond attack. Moreover, our defended model shows no noticeable reduction in benign utility in nine benchmarks covering agentic tool calling, instruction following, science, and math. We release our $\href{//github.com/Sizhe-Chen/SecPO}{\text{code}}$, $\href{//huggingface.co/datasets/Sizhe-Chen/Qwen3.6-27B-Instruct-SecPO-trainset}{\text{training data}}$ (with optimized injections from AT), and $\href{//huggingface.co/Sizhe-Chen/Qwen3.6-27B-Instruct-SecPO}{\text{model}}$.
- Abstract（参考訳）: AIエージェントに対する最大の脅威として認識され、プロンプトインジェクションにより、信頼できないデータ(メール、ドキュメント、ウェブサイト)からエージェントの操作を操作できる。
既存の最善防衛のLLMであるMeta-SecAlignは、DPO損失で訓練されているが、アダプティブ・プロンプト・インジェクション(英語版)の下では攻撃成功率(ASR)が100%に近づいている。
1つの理由は、DPOが安全でない無防備な参照モデルの周りにモデルをアンカーするからである。
学習における出力分布が興味深いので, 理想的な参照モデル, インジェクション不変, ユーティリティ保存オラクルを近似できることを示す。
この新たな観測は理論上原則化されたSecPO損失を動機付けている。
もう一つのMeta-SecAlignの欠点は、弱いシミュレートされた攻撃を訓練していることだ。
我々は,強力なインジェクション入力(best@240)を合成し,その上でモデルをトレーニングする,効率的な対位訓練(AT)パイプラインを実装した。
我々のATは、3つのSoTA適応攻撃に対して1.5-14.5$\times$を減らし、Meta-SecAlignと比較してSecPO損失はDPO損失と比較して2.4-4.6$\times$を減らした。
エージェントワークフローでは、私たちのSecPO + AT Qwen3.6-27BはMeta-SecAlignよりもはるかにセキュアです。
さらに, エージェントツール呼び出し, 命令追従, 科学, 数学を対象とする9つのベンチマークでは, 便益の顕著な削減は示されていない。
私たちは$\href{//github.com/Sizhe-Chen/SecPO}{\text{code}}$, $\href{//huggingface.co/datasets/Sizhe-Chen/Qwen3.6-27B-Instruct-SecPO-trainset}{\text{training data}}$, $\href{//huggingface.co/Sizhe-Chen/Qwen3.6-27B-Instruct-SecPO-trainset}{\text{training data}}$をリリースします。
関連論文リスト
- SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation [11.545542144576395]
プロンプトインジェクションはAIエージェントに対する第1の脅威としてリストされている。
本稿では,トークンレベルのフィードバックによって微調整を誘導するSecure On-Policy Distillation (SecOPD)を提案する。
SecOPDは、SoTA PISmith適応的インジェクションに対して9.0%のASRを達成するが、以前のSoTAのMeta-SecAlignでは94.0%である。
論文 参考訳（メタデータ） (2026-08-21T16:14:07Z) - Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents [0.0]
最近の研究は、間接的プロンプトインジェクションに対するツール使用 LLM エージェントの防御戦略に集約されている。
我々はこれらのアウト・オブ・バンド・ディフェンスを古典的整合性保護の事例として整理する。
我々は、このプロトコルを、Progent自身の適応攻撃解析の独立した複製と拡張として実行している。
論文 参考訳（メタデータ） (2026-06-25T00:35:23Z) - BiPACE: Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation for LLM Agents [10.767742708000897]
ステップワイズグループベースのRLは、学習評論家なしで長期のLDMエージェントを訓練する魅力的な方法である。
現在のエージェントの変種は、状態-アクションの信用ミスマッチによってこの仮定に反することを示す。
批判や補助的な損失、余分なロールアウトを加えることなく、双方を修正できる、ドロップインの利点推定ツールであるBiPACEを紹介します。
論文 参考訳（メタデータ） (2026-06-24T08:32:42Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z) - Meta SecAlign: A Secure Foundation LLM Against Prompt Injection Attacks [15.266469377135978]
モデルレベルのディフェンスを内蔵した,初の完全オープンソースLCMであるMeta SecAlignを開発した。
我々は、9つのユーティリティベンチマークと7つのセキュリティベンチマークにおいて、一般的な知識、命令フォロー、エージェントに関する最も包括的な評価を行う。
私たちの最高のモデルであるMeta-SecAlign-70Bは、オープンソースのLCMのためのユーティリティセキュリティトレードオフの新たなフロンティアを確立します。
論文 参考訳（メタデータ） (2025-07-03T15:47:13Z) - Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。
本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。
我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
論文 参考訳（メタデータ） (2024-05-01T17:59:20Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Practical Evaluation of Adversarial Robustness via Adaptive Auto Attack [96.50202709922698]
実用的な評価手法は、便利な(パラメータフリー)、効率的な(イテレーションの少ない)、信頼性を持つべきである。
本稿では,パラメータフリーな適応オートアタック (A$3$) 評価手法を提案する。
論文 参考訳（メタデータ） (2022-03-10T04:53:54Z) - Composite Adversarial Attacks [57.293211764569996]
敵対攻撃は、機械学習(ML)モデルを欺くための技術です。
本論文では,攻撃アルゴリズムの最適組み合わせを自動的に探索するための複合攻撃法(Composite Adrial Attack,CAA)を提案する。
CAAは11の防衛でトップ10の攻撃を破り、時間の経過は少ない。
論文 参考訳（メタデータ） (2020-12-10T03:21:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。