論文の概要: Rethinking "RL Generalizes, SFT Memorizes": The Role of SFT Data
- arxiv url: http://arxiv.org/abs/2611.14912v1
- Date: Wed, 11 Nov 2026 02:10:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.979906
- Title: Rethinking "RL Generalizes, SFT Memorizes": The Role of SFT Data
- Title(参考訳): RL Generalizes, SFT Memorizes"を再考する: SFTデータの役割
- Abstract要約: 検証可能な報酬を持つ強化学習(RL)で訓練された大規模言語モデルは、強い推論能力と広範な一般化を示す。
Supervised Fine-Tuning (SFT) で訓練されたモデルは、記憶と限られた転送の傾向が強いと考えられている。
本稿では、広く使われているQwen2.5およびQwen3シリーズモデルにおけるSFTトレーニングデータのレンズを通して、この区別を再考する。
- 参考スコア(独自算出の注目度): 61.86390759794862
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models trained with Reinforcement Learning (RL) with verifiable rewards exhibit strong reasoning ability and broad generalization, whereas models trained with Supervised Fine-Tuning (SFT) are often viewed as more prone to memorization and limited transfer. This paper rethinks this distinction through the lens of SFT training data on widely used Qwen2.5 and Qwen3 series models. First, we study the role of data source and show that it is critical: a carefully mixed SFT dataset substantially outperforms data generated solely by a larger model. Second, we study the role of data scale and show that matching the number of correct rollouts between SFT and RL greatly improves SFT generalization, while matching the total rollout budget enables SFT to generalize as well as RL. Combining these two factors further enables SFT to generalize even better than RL. Third, by using LLM annotations to characterize the solution methods in training rollouts, we show that larger datasets cover more tail methods and that these tail methods provide generalizable reasoning signals. Finally, we support these empirical findings theoretically by analyzing the training dynamics of shallow transformers under both RL and SFT.
- Abstract(参考訳): 検証可能な報酬を持つ強化学習(RL)で訓練された大規模な言語モデルは、強い推論能力と広範な一般化を示す一方、スーパーバイザード・ファインチューニング(SFT)で訓練されたモデルは、記憶と限られた伝達の傾向が強いと考えられている。
本稿では、広く使われているQwen2.5およびQwen3シリーズモデルにおけるSFTトレーニングデータのレンズを通して、この区別を再考する。
まず、データソースの役割を調査し、それが重要であることを示す: 慎重に混合されたSFTデータセットは、より大きなモデルによってのみ生成されるデータよりもかなり優れている。
第2に,SFT と RL の正しいロールアウト数との整合性は SFT の一般化を著しく向上させる一方で,総ロールアウト予算の整合性は SFT の一般化と RL の一般化を可能にすることを示す。
これら2つの因子を組み合わせることで、SFTはRLよりもさらに一般化できる。
第三に、LLMアノテーションを用いて、ロールアウトのトレーニングにおいて解法を特徴付けることにより、より大きなデータセットがより多くのテールメソッドをカバーし、これらのテールメソッドが一般化可能な推論信号を提供することを示す。
最後に, 浅部変圧器のRLおよびSFT条件下でのトレーニング力学を理論的に解析することにより, これらの実験結果を支持する。
関連論文リスト
- Finetuning with Sampling: SFT Learns Better Than You Think [59.15243022588638]
ファインタニングの参照モデルから、オフ・ポリシートレースをよりオン・ポリシーに変換するサンプリングアルゴリズムを導入する。
我々のサンプリングアルゴリズムは,科学的なスキル獲得のようなタスク全体にわたって,SFTが普及しているポストトレーニング技術と競合することを可能にする。
本手法では,学習容易性のためにデータを生成するモデルネイティブ演算子としてサンプリングを行う。
論文 参考訳(メタデータ) (2026-10-01T17:45:07Z) - Learning What to Learn: Stage-Specific Data Sets for SFT-then-RL in Small Language Model Reasoning [29.726247369977198]
我々は、データ戦略はSFTとRLの異なる役割と一致すべきであると主張している。
本稿では,学習データをステージ固有のセットに整理する,難易度の高いSFT-then-RLフレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-03T05:25:06Z) - DeReason: A Difficulty-Aware Curriculum Improves Decoupled SFT-then-RL Training for General Reasoning [44.10628322188708]
Reinforcement Learning with Verifiable Rewards (RLVR) は、大規模言語モデルで推論能力を引き出すための強力なパラダイムとして登場した。
一般的なSTEM領域では、ベースモデルに直接適用されるRLは、非常にサンプリング非効率であり、教師付き微調整によって一貫して上回っている。
本稿では,一般的な推論のための難易度に基づくデータデカップリング戦略であるDeReasonを提案する。
論文 参考訳(メタデータ) (2026-03-11T18:01:55Z) - Theoretical Perspectives on Data Quality and Synergistic Effects in Pre- and Post-Training Reasoning Models [56.12341509545198]
大規模言語モデル(LLM)は、大量のデータセット上で事前訓練され、後に教師付き微調整(SFT)または強化学習(RL)を介して指導訓練される。
ベストプラクティスは大規模で多様な事前訓練データを強調するが、ポストトレーニングは異なる。
線形回帰のための文脈内重み予測タスクで訓練された変圧器を理論的に解析する。
論文 参考訳(メタデータ) (2026-03-01T21:58:09Z) - Reassessing the Role of Supervised Fine-Tuning: An Empirical Study in VLM Reasoning [30.751908700207185]
SFTはいくつかのシナリオで重要な役割を果たす。
2Kしか持たないSFTは20KでRLに匹敵するまたはより良い推論性能を達成している。
より高い報酬は、RLの推論精度と相関しない。
論文 参考訳(メタデータ) (2025-12-14T13:46:42Z) - Why Reinforcement Fine-Tuning Enables MLLMs Preserve Prior Knowledge Better: A Data Perspective [98.45690529036848]
Supervised Fine-Tuning (SFT) や Reinforcement Fine-Tuning (RFT) といったポストトレーニングアルゴリズムは、マルチモーダルな大規模言語モデルを下流タスクに適応するために広く使われている。
タスク適応には有効であるが、以前の知識に対する影響はいまだ不明である。
論文 参考訳(メタデータ) (2025-06-30T04:15:01Z) - SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training [127.47044960572659]
ファウンデーションモデルでは、教師付き微調整(SFT)と強化学習(RL)がポストトレーニング技術として広く使われている。
本稿では,一般化と記憶におけるSFTとRLの違いについて検討する。
RLは、特に結果に基づく報酬で訓練された場合、ルールベースのテキストと視覚的バリエーションの両方で一般化されることを示す。
論文 参考訳(メタデータ) (2025-01-28T18:59:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。