論文の概要: $β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation

• arxiv url: http://arxiv.org/abs/2607.28582v1
• Date: Thu, 30 Jul 2026 17:41:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.703964
• Title: $β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation
• Title（参考訳）: β$-OPSD: ポリシー最適化による派生、自己蒸留によるトレーニング
• Authors: Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang,
• Abstract要約: オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。 我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
• 参考スコア（独自算出の注目度）: 85.07190808882523
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation (OPSD) is a promising approach to improve reasoning language models, but it remains brittle in practice: making it work reliably often requires substantial engineering effort. We identify a structural source of this difficulty: vanilla OPSD is precisely the $β=1$ member of a broader policy-optimization family, where $β$ weights the KL penalty anchoring the student to a reference policy. This equivalence turns $β$ from an implicit value fixed at one into a controllable regularization parameter, yielding a more general formulation that trades off proximity to a reference policy against privileged teacher guidance. We introduce $β$-OPSD and derive its optimal policy as a geometric interpolation between the reference policy and the privileged teacher. Directly optimizing this objective with reinforcement learning, however, would be costly and high-variance. Rather than optimize the RL objective directly, we turn its closed-form solution into a distillation target. Each value of $β$ selects a target along the reference-to-teacher path, which we implement efficiently by mixing their token-level logits. In this way, inexpensive distillation approximates the solution of expensive policy optimization. Return-to-go credit assignment further aligns token updates with the sequence-level objective while retaining the simplicity of OPSD. Experiments on mathematical reasoning benchmarks show that $β$-OPSD consistently outperforms vanilla OPSD, improving optimization stability and downstream reasoning performance. Our results provide a principled route from self-distillation to policy optimization and back without sacrificing the efficiency that makes OPSD practical.
• Abstract（参考訳）: オンライン自己蒸留(OPSD)は推論言語モデルを改善するための有望なアプローチであるが、実際には不安定なままである。 バニラOPSDは、生徒を基準ポリシーに固定するKLペナルティの重み付けを行う、より広い政策最適化ファミリーの$β=1$メンバーである。 この等価性は、β$ を 1 で固定された暗黙の値から制御可能な正規化パラメータへと変換し、特権教師指導に対する参照ポリシーに近接するより一般的な定式化をもたらす。 我々は、$β$-OPSDを導入し、参照ポリシーと特権教師の間の幾何学的補間として、その最適ポリシーを導出する。 しかし、この目的を強化学習で直接最適化することは、コストと高分散である。 RLの目的を直接最適化するのではなく、閉形溶液を蒸留ターゲットにする。 それぞれ$β$の値が参照から教師へのパスに沿ってターゲットを選択し、トークンレベルのロジットを混ぜることで効率的に実装します。 このようにして、安価な蒸留は、高価な政策最適化の解決策を近似する。 return-to-goのクレジット代入は、OPSDの単純さを維持しながら、トークン更新をシーケンスレベルの目的と整合させる。 数学的推論ベンチマークの実験では、$β$-OPSDはバニラOPSDより一貫して優れ、最適化安定性と下流推論性能が改善されている。 本研究は,OPSDを実用的にする効率を犠牲にすることなく,自己蒸留から政策最適化への基本経路を提供する。

関連論文リスト

• Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
  本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。 A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。 PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
  論文  参考訳（メタデータ） (2025-05-27T03:58:50Z)
• Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
  検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。 ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。 PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
  論文  参考訳（メタデータ） (2025-04-18T17:49:55Z)
• AlphaDPO: Adaptive Reward Margin for Direct Preference Optimization [45.46582930202524]
  $alpha$-DPOは、大規模言語モデルの適応的優先最適化アルゴリズムである。 ポリシーモデルと参照モデルのバランスを取り、パーソナライズされた報酬マージンを達成する。 さまざまなモデル設定でDPOとSimPOを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-10-14T04:29:57Z)
• $Δ\text{-}{\rm OPE}$: Off-Policy Estimation with Pairs of Policies [13.528097424046823]
  Inverse Propensity Scoring estimator に基づいた$Deltatext-rm OPE$メソッドを提案する。 シミュレーション,オフライン,オンライン実験により,本手法は評価タスクと学習タスクの両方のパフォーマンスを著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-05-16T12:04:55Z)
• Provably Efficient Exploration in Policy Optimization [117.09887790160406]
  本稿では,最適化アルゴリズム(OPPO)の最適変種を提案する。 OPPO は $tildeO(sqrtd2 H3 T )$ regret を達成する。 我々の知る限りでは、OPPOは、探索する最初の証明可能な効率的なポリシー最適化アルゴリズムである。
  論文  参考訳（メタデータ） (2019-12-12T08:40:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。