論文の概要: Weak-to-Strong Generalization via Direct On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2607.05394v2
- Date: Wed, 08 Jul 2026 17:57:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 12:30:34.78617
- Title: Weak-to-Strong Generalization via Direct On-Policy Distillation
- Title（参考訳）: 直接on-policy蒸留による弱-ストロング一般化
- Abstract要約: 検証可能な報酬を用いた強化学習(RLVR)は、言語モデル推論を改善するための強力なレシピである。
ターゲットモデルがトレーニング中に多数のロールアウトを生成する必要があるため、すべての新しい強力なモデルで繰り返すのはコストがかかる。
ロールアウトが安価である小さなモデル上でRLを実行し、RLが学習したことを再利用し、より強力なターゲットモデルを改善する。
- 参考スコア（独自算出の注目度）: 37.773464081962466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) is a powerful recipe for improving language-model reasoning, but it is expensive to repeat on every new strong model because the target model must generate many rollouts during training. As models scale, post-training itself becomes a bottleneck. We study a weak-to-strong alternative: run RL on a smaller model where rollouts are cheaper, then reuse what that RL run learned to improve a stronger target model. Directly distilling the post-RL weak teacher is not enough, because the teacher's final policy mixes useful RL gains with the limitations of the smaller model. We propose Direct On-Policy Distillation (Direct-OPD), which transfers the teacher's RL-induced policy shift instead. Direct-OPD compares the post-RL teacher with its own pre-RL reference and treats their log-ratio as a dense implicit reward for the student. In plain terms, the checkpoint pair tells us which actions RL made the weak model more or less likely to take, and Direct-OPD applies that signal on the stronger student's own on-policy states. This directly reuses the weak model's RL supervision signal without running sparse-reward RL on the target model. Empirically, Direct-OPD consistently leverages weaker teachers to improve stronger target models; notably, it boosts Qwen3-1.7B from 48.3% to 58.3% on AIME 2024 in just 4 hours on 8 A100 GPUs. It outperforms step-matched direct RL and enables the sequential composition of multiple policy shifts. Our results show that RL outcomes can be reused across model scales as implicit reward signals, not merely as final models to imitate.
- Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、言語モデル推論を改善するための強力なレシピであるが、ターゲットモデルがトレーニング中に多数のロールアウトを生成する必要があるため、すべての新しい強みモデルで繰り返すことは高価である。
モデルがスケールするにつれて、ポストトレーニング自体がボトルネックになります。
ロールアウトが安価である小さなモデル上でRLを実行し、RLが学習したことを再利用し、より強力なターゲットモデルを改善する。
教師の最終方針は、有用なRLゲインとより小さなモデルの限界を混合するため、RL後の弱い教師を直接蒸留するだけでは不十分である。
本稿では,教師のRLによる政策シフトを伝達するダイレクト・オン・ポリシィ蒸留(Direct-OPD)を提案する。
Direct-OPDは、ポストRLの教師を、独自のプレRLリファレンスと比較し、ログ比を学生に対する暗黙の報酬として扱う。
平易な言い方をすれば、チェックポイントペアはどのアクションRLが弱いモデルを採りやすいかを教え、Direct-OPDはより強い生徒自身の政治状態にそのシグナルを適用します。
これにより、ターゲットモデル上でスパース逆RLを実行することなく、弱いモデルのRL監視信号を直接再利用する。
実験的に、Direct-OPDはより弱い教師を一貫して利用し、より強力なターゲットモデルを改善する。特に、Qwen3-1.7BをAIME 2024で48.3%から58.3%まで、わずか4時間で8 A100 GPUで向上させる。
ステップマッチングされた直接RLよりも優れ、複数のポリシーシフトのシーケンシャルな構成を可能にする。
以上の結果から,RLの結果は模擬モデルとしてではなく,暗黙的な報酬信号として,モデルスケールで再利用可能であることが示唆された。
関連論文リスト
- Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。
我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
論文 参考訳（メタデータ） (2026-08-18T01:16:02Z) - Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning [16.73341451930523]
強化学習は新たな戦略を学ばず、ベースモデルがすでに持っている解に対して確率質量を再分配する。
この知見をReasonMaxxerに変換する。これは最小のRLフリーな手法で、エントロピー付き決定点にのみコントラスト損失を適用する。
論文 参考訳（メタデータ） (2026-05-07T13:25:05Z) - RoiRL: Efficient, Self-Supervised Reasoning with Offline Iterative Reinforcement Learning [4.311472216447055]
強化学習は、大規模言語モデル(LLM)における推論の改善の中心である
本稿では,RoiRL: オフライン反復強化学習による推論を提案する。
我々は,RoiRLの列車の速度が2.5倍に向上し,推理ベンチマークにおいてTTRLを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2025-10-03T10:59:26Z) - RL's Razor: Why Online Reinforcement Learning Forgets Less [13.481023080238534]
ファインチューニングモデルと強化学習(RL)と教師付きファインチューニング(SFT)を比較した。
本研究は,新しい課題に基づいて評価された細調整と基本方針のKL偏差として測定された分布シフトによって,忘れる程度が決定されることを示す。
論文 参考訳（メタデータ） (2025-09-04T14:38:08Z) - ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models [89.37819814048288]
本稿では,KL分散制御,参照ポリシ,多様なタスクスイートを取り入れた新しいトレーニング手法であるProRLを紹介する。
我々の経験的分析により、RL学習モデルは、広範囲のpass@k評価において、ベースリセットモデルよりも一貫して優れていたことが明らかとなった。
これらの知見は、RLが言語モデルにおける推論境界を有意に拡張する条件について、新たな洞察を与える。
論文 参考訳（メタデータ） (2025-05-30T17:59:01Z) - RAST: Reasoning Activation in LLMs via Small-model Transfer [33.32587030836428]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なアプローチとなっている。
大規模にRLを適用することは、潜在的にリソース集約であり、複数のモデルコピーと広範なGPUワークロードを必要とします。
本稿では、RL学習モデルからRL学習モデルからより大規模なモデルにRL誘導確率調整を注入することにより、推論挙動を伝達する簡易かつ効果的なRASTを提案する。
論文 参考訳（メタデータ） (2025-05-30T17:57:08Z) - AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。
まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
論文 参考訳（メタデータ） (2025-05-22T08:50:47Z) - Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [66.61292196146016]
RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。
本研究はRLVRの現状を批判的に考察する。
現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
論文 参考訳（メタデータ） (2025-04-18T17:59:56Z) - Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone [72.17534881026995]
ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。
オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
論文 参考訳（メタデータ） (2024-12-09T17:28:03Z) - Scalable Reinforcement Post-Training Beyond Static Human Prompts: Evolving Alignment via Asymmetric Self-Play [52.3079697845254]
evaは、オフラインとオンラインのRLポストトレーニングの両方で、言語モデルがトレーニングプロンプトを適応的に作成できるようにする最初の方法である。
我々は,エバが有効なRLキュリキュラを作成でき,アブレーションにまたがって堅牢であることを示す。
論文 参考訳（メタデータ） (2024-10-31T08:15:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。