論文の概要: Train4Merge: A Controlled Single-Teacher Study of RL vs. SFT Teachers for OPD-Based Model Merging

• arxiv url: http://arxiv.org/abs/2609.32303v1
• Date: Sat, 26 Sep 2026 06:59:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 17:58:26.423521
• Title: Train4Merge: A Controlled Single-Teacher Study of RL vs. SFT Teachers for OPD-Based Model Merging
• Title（参考訳）: Train4Merge:OPDモデル統合のためのRL対SFT教師の制御された単教師スタディ
• Abstract要約: 共有チェックポイントから訓練されたドメインエキスパートは、オンライン蒸留(OPD)を通じて1つのモデルにマージすることができる。 我々は,この選択を,多教師OPDのビルディングブロックである単一教師OPDによって探索する。 ベストチェックポイントでは、RL指導学生がSFT指導学生の成績を4.27ポイント、1.50ポイント、0.86ポイント上回った。
• 参考スコア（独自算出の注目度）: 42.27794296011778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain experts trained from a shared checkpoint can be merged into one model through on-policy distillation (OPD), where they act as teachers supervising a student on its own trajectories. One upstream choice is rarely examined: whether to build each expert with supervised fine-tuning (SFT) or reinforcement learning (RL). Yet equally strong teachers need not be equally good teachers. We probe this choice through controlled single-teacher OPD, a building block of multi-teacher OPD: in Agentic, Reasoning, and Perception, comparably performing SFT and RL teachers are trained from Qwen3.5-9B, each guiding a student initialized from it. At their best checkpoints, RL-guided students outperform SFT-guided students by 4.27, 1.50, and 0.86 percentage points in Agentic, Reasoning, and Perception, respectively, and recover more of their teachers' performance gains over the base model. The contrast is clearest in Agentic, where the best SFT-guided student recovers only 44.44% of its teacher's gain, whereas the best RL-guided student recovers 115.00%, surpassing its teacher. Our analysis points to an explanation: RL teachers stay much closer to the shared initialization in parameter space than SFT teachers and are therefore easier for their students to follow.
• Abstract（参考訳）: 共有チェックポイントからトレーニングされたドメインエキスパートは、オンライン蒸留(OPD)を通じて1つのモデルにマージすることができる。 教師付き微調整(SFT)と強化学習(RL)で各専門家を構築するかという、上流の選択肢はめったに検討されない。 しかし、等しく強い教師は、等しく良い教師である必要はない。 エージェント, 推論, パーセプションにおいて, 教師はQwen3.5-9BからSFTとRLの教師を訓練し, それぞれが初期化している学生を指導する。 ベストチェックポイントでは、RL指導学生は、エージェント、推論、パーセプションにおいて、SFT指導学生の4.27、1.50、0.86ポイントをそれぞれ上回り、ベースモデルよりも多くの教師のパフォーマンス向上を回復する。 エージェントでは、最高のSFT指導学生が44.44%しか回復していないのに対し、最高のRL指導学生は115.00%を回復し、教師を上回っている。 我々の分析では、RL教師はSFT教師よりもパラメータ空間の共有初期化にかなり近づき、生徒のフォローが容易である。

関連論文リスト

• Who Teaches Which Token? Verifier-Gated Multi-Expert On-Policy Distillation for Scientific Reasoning [19.276963328809092]
  複数教師によるオンライン蒸留は, 専門的能力を一つのモデルに統合する標準的な方法になりつつある。 その代わりに、教師の有用な信号は、推論軌道に沿ってスパースで不均一であることがわかった。 Verifier-Gated Multi-Expert On-Policy Distillation (VG-OPD) は検証によって答える。
  論文  参考訳（メタデータ） (2026-09-14T11:34:22Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• Merge-of-Thought Distillation [23.53356244978525]
  マージ・オブ・ソート蒸留(Merge-of-Thought Distillation、MoT)は、教師固有の教師付き微調整ブランチと、結果として生じる生徒の変種をマージする重み空間を代替する軽量フレームワークである。 競合数学のベンチマークでは、Qwen3-14Bの学生にMoTを適用すると、Deepseek-R1、Qwen3-32B、OpenAI-O1といった強力なモデルを超える。 MoTは、最高の単教師蒸留よりも優れており、数学以外の一般的な推論を改善し、分散シフトとピアレベルの教師に対して堅牢性を示している。
  論文  参考訳（メタデータ） (2025-09-10T17:46:57Z)
• Distilling the Implicit Multi-Branch Structure in LLMs' Reasoning via Reinforcement Learning [63.888013006686364]
  教師による微調整(SFT)による教師から生徒への推論経路の蒸留は、大規模言語モデル(LLM)の推論能力を向上させるショートカットを提供する。 GSRM(Generative Structure Reward Model)による強化学習に基づく蒸留フレームワークRLKDを提案する。 GSRMは、推論パスを複数のメタ推論解決ステップに変換し、報酬を計算して、学生と教師の推論の構造的アライメントを測定する。
  論文  参考訳（メタデータ） (2025-05-22T02:36:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。