論文の概要: Is Next-Chunk Reasoning RL Really Better than SFT? Revisiting Training Strategies under no-CoT Data

• arxiv url: http://arxiv.org/abs/2608.23256v1
• Date: Mon, 24 Aug 2026 13:47:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.122379
• Title: Is Next-Chunk Reasoning RL Really Better than SFT? Revisiting Training Strategies under no-CoT Data
• Title（参考訳）: 次世代RLはSFTより本当に良いのか?-非CoTデータによるトレーニング戦略の再検討
• Abstract要約: また,Mixed SFTは,RLよりも明らかに高い性能を示すことを示す。 また,RLVR前精度は必ずしも高次RLVR後精度に変換されないことを示した。
• 参考スコア（独自算出の注目度）: 48.92748013043833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work proposes next-chunk reasoning RL for leveraging no-CoT data---corpora such as worked solutions and textbook derivations that contain reasoning-rich content but lack explicit chain-of-thought annotations. The method trains a model to generate implicit reasoning traces and rewards them by their ability to predict the next chunk of text. While promising, existing evaluations primarily compare against conventional SFT baselines, leaving open whether the gains come from the RL formulation itself or from more effectively exposing the model to no-CoT data. We address this question with a controlled study of next-chunk reasoning RL and a simple but previously overlooked alternative: Mixed SFT, a single supervised fine-tuning stage that jointly trains on no-CoT and long-CoT data. Despite its simplicity, Mixed SFT achieves a clearly higher post-RLVR performance ceiling than next-chunk reasoning RL while requiring over 60 times less training compute. The advantage is consistent across in-domain mathematical reasoning and out-of-domain reasoning tasks. Moreover, we show that higher pre-RLVR accuracy does not necessarily translate into higher post-RLVR accuracy, highlighting the need to evaluate no-CoT training strategies in the context of the full post-training pipeline.
• Abstract（参考訳）: 近年の研究では,非CoTデータを利用した次世代推論RLを提案する。 この方法は、暗黙の推論トレースを生成するためにモデルをトレーニングし、次のテキストチャンクを予測する能力によってそれらに報酬を与える。 有望ではあるが、既存の評価は主に従来のSFTベースラインと比較され、RLの定式化自体から得られるものなのか、あるいは非CoTデータにより効果的にモデルを公開するものなのかは未定のままである。 そこで本研究では,Nor-CoTデータとLong-CoTデータを併用した単一教師付き微調整ステージであるMixed SFTについて検討した。 その単純さにもかかわらず、Mixed SFTは、60倍以上のトレーニング計算を必要としながら、次のチャンク推論RLよりも明らかにRLVR後のパフォーマンス天井を達成している。 この利点は、ドメイン内の数学的推論とドメイン外推論タスクに一貫したものである。 さらに,事前RLVRの精度が高くなることは必ずしも後RLVRの精度に変換されないことを示し,学習後パイプライン全体の文脈において,非CoTトレーニング戦略を評価する必要性を強調した。

関連論文リスト

• Understanding Reasoning from Pretraining to Post-Training [53.890128750021375]
  チェスは前訓練から後訓練までのパイプライン全体にわたって推論を研究するための制御テストベッドとして使用します。 所定のRL計算レベルでのポストRL性能は、事前学習損失からよく予測できる。 さらに,数学領域のテキスト上での1B言語モデルの訓練により,我々の研究結果がチェスを超えるか否かを検証した。
  論文  参考訳（メタデータ） (2026-07-17T16:31:58Z)
• Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment [2.8730465903425877]
  マルチモーダル文書QAにグループ相対ポリシー最適化を適用するトレーニングフレームワークであるPerception-RFTを紹介する。 推論可能なモデルは,4Bパラメータ尺度で直接知覚に基づくポリシーに収束して,学習中の推論トレースを抑制する。 初期のSFT$rightarrow$RLトランジションは65%のトレーニングデータで同等の精度を実現する。
  論文  参考訳（メタデータ） (2026-07-16T07:43:39Z)
• Learning What to Learn: Stage-Specific Data Sets for SFT-then-RL in Small Language Model Reasoning [29.726247369977198]
  我々は、データ戦略はSFTとRLの異なる役割と一致すべきであると主張している。 本稿では,学習データをステージ固有のセットに整理する,難易度の高いSFT-then-RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-03T05:25:06Z)
• Entropy-KL Divergence-based Token Masking: A Novel Approach for Selective Fine-tuning of Large Language Models [52.11240605311707]
  改良された微調整と強化学習は、大規模言語モデルの訓練後の標準パラダイムとなっている。 EKSFT(Entropy-KL Selective Fine-Tuning)は,参照モデルから高いエントロピーまたは高いKLの発散を示すトークンを選択的にマスクする。 数学的推論ベンチマークに関する実証的な評価は、EKSFTが標準SFTを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-28T03:36:05Z)
• Unified Data Selection for LLM Reasoning [66.0118347918729]
  複雑で長いCoT推論のための大規模言語モデル(LLM)のトレーニングは、しばしば大量の高品質な推論データの必要性によってボトルネックとなる。 本研究では,各推論サンプルの上位(例えば0.5%)のエントロピートークンのみを和らげることで,推論品質を定量化する学習自由度指標であるHigh-Entropy Sum(HES)を提案する。
  論文  参考訳（メタデータ） (2026-05-21T12:21:41Z)
• Tailored Primitive Initialization is the Secret Key to Reinforcement Learning [61.29280885291581]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高めるための強力なパラダイムとして登場した。 多様な,高品質な推論プリミティブによるLLMの初期化は,安定かつサンプル効率のよいRLトレーニングを実現する上で不可欠である,と我々は主張する。 そこで我々は,新しい推論プリミティブを自動的に発見し,キュレートする微調整パイプラインであるTailorを提案する。
  論文  参考訳（メタデータ） (2025-11-16T03:12:40Z)
• Mitigating Forgetting Between Supervised and Reinforcement Learning Yields Stronger Reasoners [28.039145840787683]
  Supervised Fine-tuning (SFT)は相補的な利点を提供するが、通常大規模なデータと過度に適合するリスクを必要とする。 SFTとRLを組み合わせた最近の試みは、データ非効率、アルゴリズム固有の設計、破滅的な忘れ込みという3つの大きな課題に直面している。 本稿では,SFT を RL に動的に統合するプラグイン・アンド・プレイフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-06T03:01:14Z)
• Quagmires in SFT-RL Post-Training: When High SFT Scores Mislead and What to Use Instead [20.446287312285648]
  我々は,高いSFTスコアがRL後の性能向上に寄与するかどうかを検討した。 高いSFTスコアは、より単純あるいはより均一なデータに偏りがあり、その後のRLゲインやスケールアップ後の学習効果を確実に予測できない。 本稿では,RL結果に対して強力なプロキシを提供するために,代替指標について検討し,ホールドアウト推論例とPass@large kパフォーマンスについて一般化損失を同定する。
  論文  参考訳（メタデータ） (2025-10-02T02:57:00Z)
• Reinforced Latent Reasoning for LLM-based Recommendation [92.56166822197919]
  大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。 既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。 本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T11:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。