論文の概要: EOPSA: Efficient On-Policy Self-Distilled Safety Alignment

• arxiv url: http://arxiv.org/abs/2609.34519v1
• Date: Mon, 28 Sep 2026 07:56:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:47:14.886271
• Title: EOPSA: Efficient On-Policy Self-Distilled Safety Alignment
• Title（参考訳）: EOPSA: 効率的な自己拡張型安全アライメント
• Abstract要約: On-Policy Self-Distillationは、安全確保のための有望なパラダイムとして登場した。 このパラダイムは、トレーニング効率と一般的な推論能力の両方を低下させる重要な非効率に悩まされていることを示す。 本稿では, 信頼性の高い安全クリティカルトークンに限定して, 計算と勾配の予算を集中させる, 効率的な自己拡張型自己整合性(EOPSA)を提案する。
• 参考スコア（独自算出の注目度）: 32.60039539154305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-Policy Self-Distillation (OPSD) has emerged as a promising paradigm for safety alignment, delivering dense, token-level supervision by distilling from a teacher conditioned on refusal-oriented privileged prompts. However, we reveal that this paradigm suffers from critical inefficiencies that degrade both training efficiency and general reasoning capabilities. Specifically, we diagnose two fundamental bottlenecks: (1) supervisory collapse over extended rollouts, where the teacher's corrective efficacy degrades precipitously as the student's generation prefix lengthens, injecting noisy gradients into late-stage tokens; and (2) gradient dilution from stylistic shifts, where the distillation objective is dominated by safety-irrelevant stylistic discrepancies induced by privileged prompting, washing out genuine safety signals and impairing base reasoning. To resolve these issues, we propose Efficient On-Policy Self-Distilled Safety Alignment (EOPSA), which concentrates computational and gradient budgets exclusively on reliably supervised, safety-critical tokens. EOPSA incorporates two coordinated mechanisms: (i) Adaptive Rollout Scheduling, which dynamically bounds the generation horizon guided by a novel Teacher Rescue Rate (TRR) metric to operate strictly within reliable supervision regimes; and (ii) Selective Distillation, which filters out safety-neutral tokens to restrict gradient updates exclusively to safety-pivotal transitions. Extensive evaluations across reasoning models up to 32B parameters demonstrate that EOPSA slashes rollout computation by $\sim$50% and backpropagates through merely $\sim$2% of tokens, consistently outperforming full-token distillation baselines in both safety compliance and reasoning retention.
• Abstract（参考訳）: On-Policy Self-Distillation (OPSD) は安全確保のための有望なパラダイムとして登場し、拒絶指向の特権的プロンプトを条件とした教師からの蒸留により、密集したトークンレベルの監督を提供する。 しかし,このパラダイムは,訓練効率と一般的な推論能力の両方を低下させる重要な非効率性に悩まされていることが明らかとなった。 具体的には,(1) 教師の補正効力が低下するロールアウトに対する監督的崩壊,(2) 教師の世代序列が長引くにつれて早期に劣化し,ノイズ的な勾配が後期のトークンに注入される,(2) 蒸留目的が特権的プロンプト,真の安全信号の洗浄,基本推論の障害によって引き起こされる安全関連スタイリスティックな相違によって支配される,スタイリスティックなシフトからの勾配の解消,という2つの基本的なボトルネックを診断する。 これらの問題を解決するために, 信頼性の高い安全クリティカルトークンに限定して, 計算・勾配予算を集中する効率的な自己拡散型安全調整(EOPSA)を提案する。 EOPSAは2つの協調機構を組み込んでいる。 一 教師救済率(TRR)基準で導かれる世代地平線を動的に拘束し、信頼性の高い監督体制内で厳格に運用する適応型ロールアウトスケジューリング (二 安全中性トークンを濾過して、安全ピボタル遷移のみに限って勾配更新を制限する選択蒸留。) 推論モデルから32Bパラメータまでの広範囲な評価は、EOPSAがロールアウト計算を$\sim$50%削減し、単に$\sim$2%のトークンを通じてバックプロパゲーションし、安全コンプライアンスと推論保持の両方において完全な蒸留ベースラインを一貫して上回っていることを示している。

関連論文リスト

• Adaptive Supervised Anchoring for On-Policy Self-Distillation [15.445625053566244]
  オンライン自己蒸留は、学生から採取した軌道上の凍結教師からの指導を蒸留することにより、言語モデルに適応する。 本研究は,学生が目標軌跡から遠ざかると,教師の目標外接頭辞の条件がタスク関連監督を著しく弱めることを示す。 本稿では,2つの補完的な指導経路を分離する統合トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-08T05:46:32Z)
• DT-Guard: Intent-Driven Reasoning-Active Training for Reasoning-Free LLM Safety Guardrail [19.59614205209542]
  本稿では、Reasoning-Active Training, Reasoning-Free Inferenceパラダイムに基づくコンテンツ安全ガードレールモデルDT-Guardを提案する。 鍵となる考え方は、推論時にのみ構造化された安全ラベルを出力しながら、トレーニング中に推論監督を使用することである。
  論文  参考訳（メタデータ） (2026-07-07T14:25:05Z)
• Tailoring Teaching to Aptitude: Direction-Adaptive Self-Distillation for LLM Reasoning [41.384652481442735]
  我々は,一様教師模倣からエントロピー制御された指向性監視へと特権的な自己蒸留を再構成するtextbfDirection-Adaptive Self-Distillation (textbfDASD)を提案する。 6つの数学的推論ベンチマークで、DASDは強力なRLVRと自己蒸留ベースラインよりも優れたマクロAvg@16を達成する。
  論文  参考訳（メタデータ） (2026-05-21T10:07:46Z)
• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
  ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。 決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。 NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
  論文  参考訳（メタデータ） (2026-03-29T18:52:01Z)
• Self-Guard: Defending Large Reasoning Models via enhanced self-reflection [54.775612141528164]
  Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。 これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。 セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
  論文  参考訳（メタデータ） (2026-01-31T13:06:11Z)
• LatentGuard: Controllable Latent Steering for Robust Refusal of Attacks and Reliable Response Generation [4.29885665563186]
  LATENTGUARDは、行動アライメントと教師付き潜在空間制御を組み合わせて、解釈可能で正確な安全操縦を行うフレームワークである。 本研究は, 実用性を損なうことなく, 安全性制御性と応答解釈性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2025-09-24T07:31:54Z)
• SAFER: Advancing Safety Alignment via Efficient Ex-Ante Reasoning [51.78514648677898]
  我々は,eFficient Ex-Ante Reasoningによる安全アライメントの枠組みであるSAFERを提案する。 提案手法は,初期評価,ルール検証,経路校正などを通じて,構造化されたex-Ante推論をインスタンス化する。 複数のオープンソース LLM の実験により,SAFER は有用性と応答効率を保ちながら安全性を著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-04-03T16:07:38Z)
• Improving LLM Safety Alignment with Dual-Objective Optimization [81.98466438000086]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。