論文の概要: An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning

• arxiv url: http://arxiv.org/abs/2609.35505v1
• Date: Mon, 28 Sep 2026 16:05:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 21:17:49.12054
• Title: An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning
• Title（参考訳）: OPDのRLビュー:試料効率の良いLDM推論のための最小方形政策蒸留
• Abstract要約: LSPD(Last-Square Policy Distillation)は、RLにインスパイアされたフレームワークであり、価値に基づくRLから楽観的な探索と、非政治データの再利用をポリシー蒸留にもたらす。 我々の理論解析はLSPDを楽観的な値に基づく学習に結びつけ、その理想化された定式化がオンライン探索の際、鋭い$tildemathcal O(log K)$ regret boundを達成していることを示す。
• 参考スコア（独自算出の注目度）: 17.88764054608483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study on-policy distillation (OPD) through the lens of reinforcement learning, establishing a connection between the reverse-KL objective in OPD and KL-regularized policy optimization. Building on this connection, we introduce Least-Square Policy Distillation (LSPD), an RL-inspired framework that brings optimistic exploration and off-policy data reuse from value-based RL into policy distillation. LSPD preserves policy diversity through exploration while improving rollout efficiency by repeatedly learning from previously collected trajectories. Our theoretical analysis connects LSPD to optimistic value-based learning and shows that its idealized formulation achieves a sharp $\tilde{\mathcal O}(\log K)$ regret bound under online exploration. Empirically, LSPD consistently outperforms existing distillation baselines across six mathematical reasoning benchmarks and diverse teacher-student settings, with average gains of +1.59 points in Avg@16. Remarkably, through Pass@k evaluations up to k=64, we found that LSPD better preserves policy diversity by achieving stronger performance as k grows. Its fully off-policy variant achieves comparable performance to vanilla OPD using only the first 25% of rollout batches. Together, these results provide an RL perspective on OPD that offers both a principled interpretation and a practical route toward more effective and rollout-efficient language model distillation.
• Abstract（参考訳）: 我々は、強化学習のレンズを通したオンライン蒸留(OPD)について検討し、OPDにおける逆KL目標とKL規則化政策最適化との接続を確立する。 この接続に基づいて、我々は、RLに着想を得たフレームワークであるLast-Square Policy Distillation (LSPD)を紹介します。 LSPDは、以前に収集した軌道から繰り返し学習することで、ロールアウト効率を改善しながら、探索を通じてポリシーの多様性を維持する。 我々の理論分析はLSPDを楽観的な値に基づく学習に結びつけ、その理想化された定式化がオンライン探索下での後悔の意を突く$\tilde{\mathcal O}(\log K)を達成していることを示す。 LSPDは、6つの数学的推論ベンチマークと多様な教師学生設定で既存の蒸留基準を一貫して上回り、平均はAvg@16で1.59ポイント上昇した。 注目すべきは、Pass@kがk=64まで評価することで、LSPDは、kが成長するにつれてより強力なパフォーマンスを達成することにより、ポリシーの多様性をよりよく保ちます。 完全なオフポリティ版では、ロールアウトバッチの最初の25%しか使用せず、バニラOPDに匹敵するパフォーマンスを実現している。 これらの結果は、原則的解釈と、より効果的でロールアウト効率の良い言語モデル蒸留への実践的な経路の両方を提供するOPDに対するRL視点を提供する。

関連論文リスト

• $β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation [85.07190808882523]
  オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。 我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-07-30T17:41:16Z)
• Hybrid Policy Distillation for LLMs [40.69103815149454]
  知識蒸留(KD)は大規模言語モデル(LLM)を圧縮するための強力なパラダイムである 既存のKD手法の設計を分解し、それらの相互接続を確立する統一的な視点を示す。 我々は, モードカバレッジとモード探索のバランスをとるために, フォワードとリバースKLの相補的な利点を統合するハイブリッド政策蒸留(HPD)を提案する。
  論文  参考訳（メタデータ） (2026-04-22T06:46:22Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
  強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。 トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。 我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
  論文  参考訳（メタデータ） (2026-01-30T08:47:19Z)
• KDRL: Post-Training Reasoning LLMs via Unified Knowledge Distillation and Reinforcement Learning [72.53466291156604]
  教師の指導(KD)と自己探索(RL)を通じて推論モデルを協調的に最適化するテキスト化後学習フレームワークである textbfKDRL を提案する。 まず、GRPOとKDを統合する統一目的を定式化し、異なるKL近似、KL係数、報酬誘導KD戦略が学習後の全体的なダイナミクスと性能にどのように影響するかを体系的に検討する。
  論文  参考訳（メタデータ） (2025-06-02T19:46:41Z)
• Enhancing LLM Reasoning with Iterative DPO: A Comprehensive Empirical Investigation [29.579349371114702]
  DPO(Direct Preference Optimization)は、大規模言語モデル(LLM)のための強化学習(RL)に代わる費用効率の良い代替手段である。 粗いフィルタ付き1ラウンドのDPOが数学的推論性能を大幅に向上させることを示す。 単純な検証可能な報奨により,計算オーバーヘッドを大幅に低減したRLレベルの性能を実現する。
  論文  参考訳（メタデータ） (2025-03-17T06:28:25Z)
• DPO: A Differential and Pointwise Control Approach to Reinforcement Learning [3.2857981869020327]
  連続状態行動空間における強化学習(RL)は、科学計算において依然として困難である。 本稿では,連続時間制御の観点からRLを再構成する新しいフレームワークである差分強化学習(Differential RL)を紹介する。 我々は,局所運動演算子を洗練させる段階的アルゴリズムである微分ポリシー最適化(DPO)を開発した。
  論文  参考訳（メタデータ） (2024-04-24T03:11:12Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。