論文の概要: Selecting Diverse SFT Traces Improves Post-RL Generalization

• arxiv url: http://arxiv.org/abs/2609.33780v1
• Date: Sun, 27 Sep 2026 17:22:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 16:47:41.191683
• Title: Selecting Diverse SFT Traces Improves Post-RL Generalization
• Title（参考訳）: 逆SFTトレースの選択はポストRL一般化を改善する
• Abstract要約: 経路の多様性は、教師付き微調整データにおける推論ステップのシーケンスの変化である。 そこで我々は,軽量なルールベース指紋の提案を行った。
• 参考スコア（独自算出の注目度）: 7.673852446824969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Verified solutions are not equally useful for preparing reasoning models for reinforcement learning (RL). We present a comprehensive study of route diversity, the variation in the sequences of reasoning steps in supervised fine-tuning (SFT) data, and propose a lightweight, rule-based fingerprint to select for it. From one pool at one budget, with matched training recipes and checkpoints, selecting diverse rather than similar routes improves post-RL problem coverage across puzzles and mathematics, including on problems harder than those seen in either training stage. In synthetic experiments, route-diverse SFT improves OLMo3-7B's pass@8 by 16.9 points on environments held out from SFT. In a single-model condition, where one model writes every candidate, diverse selection gains up to 6.2 points of mean pass@8 across 10 mathematics benchmarks. Pre-RL diagnostics suggest why: diverse SFT can produce both successful and failed attempts on more prompts despite slightly lower mean accuracy, giving group-relative RL more prompts with a learning signal. On 3 open-source corpora, our CPU-only selector, without model calls, outperforms more expensive alternatives in every comparison of mean post-RL performance. These results identify reasoning-route diversity as a practical criterion for selecting SFT data that better prepares models for RL.
• Abstract（参考訳）: 検証された解は、強化学習(RL)のための推論モデルを作成するのに等しく有用ではない。 本稿では、経路の多様性、教師付き微調整(SFT)データにおける推論ステップの順序の変化について包括的に研究し、それを選択するための軽量なルールベースの指紋を提案する。 1つの予算で1つのプールから、マッチしたトレーニングレシピとチェックポイントによって、類似のルートよりも多様なルートを選択することで、パズルや数学におけるRL後の問題カバレッジが改善される。 合成実験では、経路幅の異なるSFTは、OLMo3-7Bのパス@8をSFTから保持された環境上で16.9ポイント改善する。 1つのモデルがすべての候補を記述している単一モデル条件において、多種多様な選択は10の数学ベンチマークで平均パス@8の6.2ポイントを得る。 様々なSFTは、平均精度がわずかに低いにもかかわらず、より多くのプロンプトに対する成功と失敗の両方を生み出すことができ、グループ相対的なRLは学習信号でより多くのプロンプトを与える。 3つのオープンソースコーパスでは、モデルコールなしでCPUのみのセレクタが、平均RL後のパフォーマンスの比較において、より高価な選択肢よりも優れています。 これらの結果から,RLのモデルをよりよく作成するSFTデータを選択するための実践的基準として,推論-経路の多様性が同定された。

関連論文リスト

• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• Learning What to Learn: Stage-Specific Data Sets for SFT-then-RL in Small Language Model Reasoning [29.726247369977198]
  我々は、データ戦略はSFTとRLの異なる役割と一致すべきであると主張している。 本稿では,学習データをステージ固有のセットに整理する,難易度の高いSFT-then-RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-03T05:25:06Z)
• SED-SFT: Selectively Encouraging Diversity in Supervised Fine-Tuning [54.393763477932474]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の標準訓練パラダイムとして登場した。 本稿では,トークン探索空間に基づく多様性を適応的に促進するSED-SFTを提案する。 このフレームワークは、選択的なマスキング機構を備えた選択エントロピー正規化項を最適化目的に導入する。
  論文  参考訳（メタデータ） (2026-02-07T09:39:21Z)
• Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning [8.550698116833123]
  推論LDMの訓練後は通常、オフラインのSFTステージとオンラインの強化学習ステージで構成される。 同一のRLトレーニングの後、より強力なSFTチェックポイントのモデルの方が、より弱いモデルよりもはるかに性能が低いことを示す。 本稿では、このミスマッチを補正し、RLのモデルを改善するSFT段法であるPEARを提案する。
  論文  参考訳（メタデータ） (2026-02-01T06:53:45Z)
• Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
  マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。 この問題を修正するために,自己整合サンプリング(SCS)を提案する。 Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
  論文  参考訳（メタデータ） (2025-11-13T18:59:57Z)
• Mitigating Forgetting Between Supervised and Reinforcement Learning Yields Stronger Reasoners [28.039145840787683]
  Supervised Fine-tuning (SFT)は相補的な利点を提供するが、通常大規模なデータと過度に適合するリスクを必要とする。 SFTとRLを組み合わせた最近の試みは、データ非効率、アルゴリズム固有の設計、破滅的な忘れ込みという3つの大きな課題に直面している。 本稿では,SFT を RL に動的に統合するプラグイン・アンド・プレイフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-06T03:01:14Z)
• Quagmires in SFT-RL Post-Training: When High SFT Scores Mislead and What to Use Instead [20.446287312285648]
  我々は,高いSFTスコアがRL後の性能向上に寄与するかどうかを検討した。 高いSFTスコアは、より単純あるいはより均一なデータに偏りがあり、その後のRLゲインやスケールアップ後の学習効果を確実に予測できない。 本稿では,RL結果に対して強力なプロキシを提供するために,代替指標について検討し,ホールドアウト推論例とPass@large kパフォーマンスについて一般化損失を同定する。
  論文  参考訳（メタデータ） (2025-10-02T02:57:00Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Learning to Prune Deep Neural Networks via Reinforcement Learning [64.85939668308966]
  PuRLは、ニューラルネットワークのプルーニングのためのディープ強化学習ベースのアルゴリズムである。 現在の最先端の手法に匹敵する幅と精度を実現している。
  論文  参考訳（メタデータ） (2020-07-09T13:06:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。