論文の概要: On-Policy Consistency Training Improves LLM Safety with Minimal Capability Degradation

• arxiv url: http://arxiv.org/abs/2605.21834v1
• Date: Wed, 20 May 2026 23:56:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.034344
• Title: On-Policy Consistency Training Improves LLM Safety with Minimal Capability Degradation
• Title（参考訳）: オン・ポリシィ・コンシスタンス・トレーニングによる最小能力劣化によるLCMの安全性向上
• Authors: Andy Han, Kristina Fujimoto, Avidan Shah, Kiet Nguyen, Kai Xu, Chen Yueh-Han, Ilia Sucholutsky, Rico Angell,
• Abstract要約: On-Policy Consistency Training (OPCT)は、新しい一貫性トレーニングアプローチである。 本研究は, 3つの安全軸(梅毒, 脱獄, 安全意識)でOPCTを評価した。 OPCTはジェイルブレイクで99%近く成功している。
• 参考スコア（独自算出の注目度）: 15.686932126703793
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aligned models can misbehave in several ways: they are often sycophantic, fall victim to jailbreaks, or fail to include appropriate safety warnings. Consistency training is a promising new alignment paradigm to mitigate such failures by training invariants into the model using contrastive input pairs. Existing consistency training procedures generate the supervision signal once, offline, and use supervised fine-tuning (SFT) to update the model. Unfortunately, the resulting models tend to merely memorize the surface forms of the training distribution and thus generalize poorly and regress in their capabilities. We introduce On-Policy Consistency Training (OPCT), a new consistency training approach where the objective is computed over the model's own responses to prompts, supervised by itself conditioned on corresponding contrastive prompts. We evaluate OPCT on three safety axes: sycophancy, jailbreaking, and safety awareness. Across three model families, OPCT outperforms its SFT counterpart on all safety desiderata. It nearly halves the sycophancy rate relative to baseline (8.1% vs. 15.4%, compared to 11.2% for SFT). Under an adaptive per-target attacker, OPCT holds jailbreak defense success near 99% on held-out jailbreak behaviors, whereas SFT achieves 87% on average. On safety awareness, OPCT outperforms SFT in two out of three models, and matches it on the other. OPCT also largely avoids the capability regressions that SFT induces, such as a 28-point drop on MATH-500. Our results suggest that consistency training is best implemented as OPCT rather than as SFT, especially when generalization beyond the training distribution is desired.
• Abstract（参考訳）: 調整されたモデルは、しばしば梅毒になり、脱獄の犠牲者になるか、適切な安全警告を含まないか、いくつかの方法で誤動作することがある。 一貫性トレーニングは、対照的な入力ペアを使用してモデルに不変性をトレーニングすることによって、そのような障害を緩和する、有望な新しいアライメントパラダイムである。 既存の一貫性トレーニング手順は、監視信号を一度、オフラインに生成し、教師付き微調整(SFT)を使用してモデルを更新する。 残念なことに、結果として得られるモデルは単にトレーニング分布の表面形状を記憶するだけであり、したがってそれらの能力の一般化と回帰が不十分である。 提案手法は, モデル自体のプロンプトに対する応答に対して, 対象を計算し, 対応するコントラスト的プロンプトに基づいて自身で制御する, 新たな一貫性トレーニング手法である, オンライン一貫性トレーニング(OPCT)を導入する。 本研究は, 3つの安全軸(梅毒, 脱獄, 安全意識)でOPCTを評価した。 3つのモデルファミリーでOPCTは安全デシダータでSFTを上回っている。 基準値の8.1%対15.4%であるのに対し、SFTは11.2%である。 ターゲットごとのアダプティブ攻撃の下では、OPCTはジェイルブレイク防御で99%近く成功し、SFTは平均87%を達成している。 安全意識において、OPCTはSFTを3つのモデルのうち2つで上回り、もう一方のモデルと比較する。 OPCTはまた、SFTが引き起こす能力低下(MATH-500の28ポイントドロップなど)を回避している。 この結果から, 整合性学習は, SFTよりもOPCTとして, 特にトレーニング分布を超えた一般化が望まれる場合には, 最善であることがわかった。

関連論文リスト

• SOAR: Self-Correction for Optimal Alignment and Refinement in Diffusion Models [48.335262141752715]
  拡散モデルのための後トレーニングパイプラインには、キュレートされたデータに対する教師付き微調整(SFT)と報酬モデルによる強化学習(RL)の2段階がある。 本稿では,このギャップを埋めるバイアス補正ポストトレーニング法であるSOAR(Self-Correction for Optimal Alignment and Refinement)を提案する。 オンライン政治であり、報酬なしであり、クレジット割り当ての問題なく、時間ごとの密集した監督を提供する。
  論文  参考訳（メタデータ） (2026-04-14T11:45:15Z)
• CoT-Saliency: Unified Chain-of-Thought Reasoning for Heterogeneous Saliency Tasks [96.64597365827046]
  本稿では,3つの運用上不均一なサリエンシタスクを共同で処理する,最初の統合フレームワークを提案する。 タスクの不均一性を橋渡しする視覚言語モデル(VLM)において、チェーン・オブ・ソート(CoT)推論プロセスを導入する。 我々は,全タスクにまたがる特別なSOTA手法と強力なクローズドソースVLMの整合性を示す。
  論文  参考訳（メタデータ） (2025-11-01T04:37:01Z)
• Consistency Training Helps Stop Sycophancy and Jailbreaks [42.673600663865614]
  自己管理型パラダイムで、モデルにプロンプト内の特定の無関係な手がかりに不変であるように教える。 一貫性トレーニングは、モデル自体からの応答をトレーニングデータとして使用するため、古いトレーニングデータから発生する問題を回避することができる。 BCTとACTは薬効を等しく低下させるが、BCTはジェイルブレイクの低減に有効である。
  論文  参考訳（メタデータ） (2025-10-31T00:19:13Z)
• Efficient Switchable Safety Control in LLMs via Magic-Token-Guided Co-Training [1.5349686675266894]
  LLM(Large Language Models)におけるコンテンツ安全性の現在の手法は、マルチステージトレーニングパイプラインに依存している。 複数の安全性挙動を効率的に統合する統合協調学習フレームワークを提案する。 我々は,SFT+DPOの安全アライメント品質に一致し,安全性能においてDeepSeek-R1 (671B) を上回る8Bモデルを示した。
  論文  参考訳（メタデータ） (2025-08-12T02:39:33Z)
• Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors [41.45649235969172]
  自己アンサンブル保護(SEP)は、データに対する優れたモデルのトレーニングを防ぐために提案されている。 例えば、我々の小さな摂動により、CIFAR-10 ResNet18の精度は94.56%から14.68%に低下し、最もよく知られている方法は41.35%となった。
  論文  参考訳（メタデータ） (2022-11-22T04:54:20Z)
• Adversarial Unlearning: Reducing Confidence Along Adversarial Directions [88.46039795134993]
  本稿では,自己生成事例の信頼性を低下させる補完的な正規化戦略を提案する。 RCADと呼ばれるこの手法は、トレーニング損失を増やすために反対に選択された方向に沿って横たわっている流通外の事例に対する信頼性を低下させることを目的としている。 その単純さにもかかわらず、多くの分類ベンチマークでは、RCADを既存の技術に追加して、絶対値の1～3%の精度でテストできることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T02:26:24Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。