論文の概要: Understanding the Synergy between SFT, RLVR, and OPD in LLM Post-Training

• arxiv url: http://arxiv.org/abs/2609.31900v1
• Date: Fri, 25 Sep 2026 18:39:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 04:49:52.023196
• Title: Understanding the Synergy between SFT, RLVR, and OPD in LLM Post-Training
• Title（参考訳）: LLM後評価におけるSFT, RLVR, OPDの相乗効果の理解
• Abstract要約: 現代のポストトレーニングは、教師付き微調整(SFT)、検証可能な報酬付き強化学習(RLVR)、オンライン蒸留(OPD)で構成されている。 この構成が連続的であることを示す。現在のモデルを改善するステージは、次のステージの効率を損なう可能性がある。 この結果から,各学習段階は追加する能力だけでなく,次の段階に生成する学習インタフェースについても選択すべきであることが示唆された。
• 参考スコア（独自算出の注目度）: 45.917699985459215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern LLM post-training composes supervised fine-tuning (SFT), reinforcement learning with verifiable rewards (RLVR), and on-policy distillation (OPD) into multi-stage pipelines, yet these stages are typically designed and evaluated in isolation. We show that this composition is consequential: a stage that improves the current model can make the next stage less effective. Through controlled experiments with Qwen3 models on math and science reasoning, we first characterize OPD across nine student-teacher pairs spanning 2x to 53x parameter ratios and show that OPD effectiveness depends on student-teacher compatibility rather than teacher scale alone. The surrounding stages of OPD reshape this compatibility in three ways: (1) A brief SFT warm-up improves subsequent OPD, while an RLVR-strengthened student regresses under distillation from the same teacher. (2) Adapting the teacher with RLVR raises downstream OPD accuracy in proportion to the capability it adds. Following these two interventions, we find that combining teacher adaptation and student warm-up alone raise average OPD accuracy from 29.2\% to 43.8\% (50\% relative improvement) after the same number of distillation steps, with additional preparatory training. (3) At comparable accuracy, OPD leaves a stronger initialization for downstream RLVR than SFT, with a gap that widens as RL compute scales. Our results suggest that each post-training stage should be chosen not only for the capability it adds, but for the learning interface it creates for the next stage.
• Abstract（参考訳）: 現代のLLMポストトレーニングは、教師付き微調整(SFT)、検証可能な報酬付き強化学習(RLVR)、多段パイプラインへのオンライン蒸留(OPD)で構成されている。 この構成が連続的であることを示す。現在のモデルを改善するステージは、次のステージの効率を損なう可能性がある。 数学と理科の推論に関するQwen3モデルを用いた制御実験を通じて、まず2倍から53倍のパラメータ比にまたがる9つの生徒-教師ペアのPDを特徴付ける。 1) 短時間のSFTウォームアップはその後のPDを改善するが、RLVRで強化された学生は、同じ教師の蒸留の下で、この互換性を再構築する。 2) 教師にRLVRを適応させることで, 付加能力に比例して下流OPDの精度が向上する。 これら2つの介入により,教師の適応と学生のウォームアップとの組み合わせだけで,同じ蒸留工程の後に平均PD精度が29.2\%から43.8\%(相対改善率50\%)に上昇し,予備訓練が加えられた。 (3) 同等の精度では,OPD は SFT よりも下流 RLVR の初期化が強く,RL の計算規模が大きくなるにつれてギャップが広がる。 この結果から,各学習段階は追加する能力だけでなく,次の段階に生成する学習インタフェースについても選択すべきであることが示唆された。

関連論文リスト

• Sequential Beats Joint: On the Interplay between On-Policy Distillation and RLVR [31.617522438897236]
  単純な2段階スキームであるOPD-then-RLは、純粋PD、純粋RLVR、および論理および数理推論ベンチマークの全てのジョイントベースラインを一貫して上回ることを示す。 実用的なレシピとして、OPD検証スコアがRLに切り替える際の鍵信号であり、PDはSFTよりもRLのコールドスタートであることがわかった。
  論文  参考訳（メタデータ） (2026-09-03T17:14:27Z)
• Simple-OPD: Demystifying Warm-up for On-policy Distillation [51.693357695326846]
  オンライン蒸留(On-policy distillation、OPD)は、教師モデルからトークンレベルの監督を受け、生徒を自身のロールアウトで訓練する。 データとトレーニングの両方の観点から、OPDのウォームアップをデミスティフィケートします。
  論文  参考訳（メタデータ） (2026-08-07T04:47:38Z)
• Lightning OPD: Efficient Post-Training for Large Reasoning Models with Offline On-Policy Distillation [7.2992280064983825]
  オンライン蒸留(OPD)は、大規模言語モデルの効率的な後訓練パラダイムとして登場した。 標準PDは、トレーニングを通してライブの教師推論サーバーを必要とし、その結果、かなりのインフラストラクチャーオーバーヘッドを発生させる。 我々は,教師の対数確率をSFTロールアウトにプリ計算することで教師の一貫性を強制するオフラインのオンライン蒸留フレームワークであるLightning OPDを提案する。
  論文  参考訳（メタデータ） (2026-04-14T17:44:50Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
  スパーシティはモデル条件の最適化バイアスの表面積であることを示す。 我々はこれらの力学を三ゲージ理論で機械的に説明する。 本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-11-11T18:49:45Z)
• DRL: Discriminative Representation Learning with Parallel Adapters for Class Incremental Learning [63.65467569295623]
  本稿では,これらの課題に対処するための差別的表現学習(DRL)フレームワークを提案する。 逐次学習を効果的かつ効率的に行うために、DRLのネットワークはPTM上に構築される。 我々のDRLは、CIL時代を通して、他の最先端の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-10-14T03:19:15Z)
• OD-DETR: Online Distillation for Stabilizing Training of Detection Transformer [14.714768026997534]
  本稿では,オンライン蒸留によるDETRトレーニングの安定化を目的とする。 指数移動平均(EMA)で蓄積した教師モデルを利用する。 実験の結果,提案したOD-DETRはトレーニングの安定化に成功し,パラメータを増やすことなく性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-09T14:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。