論文の概要: Diverse Reasoning Paths Matter: Symbolic Equivalence Augmentation for Enhancing RL Exploration

• arxiv url: http://arxiv.org/abs/2610.22665v1
• Date: Thu, 15 Oct 2026 21:31:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.678275
• Title: Diverse Reasoning Paths Matter: Symbolic Equivalence Augmentation for Enhancing RL Exploration
• Title（参考訳）: 多様な推論経路が重要なこと:RL探査を促進するシンボリック等価化
• Abstract要約: 検証可能な報酬を用いた強化学習(RLVR)は,LLMの推論能力を向上させるための強力なパラダイムとして登場した。 教師付き微調整(SFT)におけるチェーン・オブ・シント(CoT)の推論ステップの多様性は、RLVR性能の重要な有効性である。 CoT の解を形式的記号表現に変換し、同値変換を適用し、自然言語による説明を再構築することにより、EquivAug は表面レベルの語彙変化ではなく推論ステップで異なる訓練データを生成する。
• 参考スコア（独自算出の注目度）: 7.80641983285443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has emerged as a powerful paradigm for improving the reasoning capabilities of LLMs. However, the role of supervised fine-tuning (SFT) data in enabling effective downstream RL remains underexplored. In this paper, we investigate a key hypothesis: the diversity of reasoning steps in chain-of-thought (CoT) during SFT is a critical enabler of RLVR performance. To test this hypothesis, we introduce EquivAug, a data augmentation framework that uses symbolic equivalence transformations to generate diverse yet provably correct reasoning paths. By converting CoT solutions into formal symbolic representations, applying equivalence transformations, and reconstructing natural-language explanations, EquivAug produces training data that differs in reasoning steps rather than surface-level lexical variation. Experiments on GSM8K and FOLIO across model scales demonstrate that EquivAug consistently achieves the highest reasoning path diversity after SFT and the strongest accuracy after GRPO. Our results establish that CoT diversity during SFT is positively correlated with downstream RLVR performance.
• Abstract（参考訳）: 検証可能な報酬を用いた強化学習(RLVR)は,LLMの推論能力を向上させるための強力なパラダイムとして登場した。 しかし、効果的な下流RLの実現における教師付き微調整(SFT)データの役割は未解明のままである。 本稿では,SFTにおけるチェーン・オブ・シント(CoT)の推論ステップの多様性が,RLVR性能の重要な実現要因である,という重要な仮説を考察する。 この仮説をテストするために,シンボル同値変換を用いたデータ拡張フレームワークであるEquivAugを導入する。 CoT の解を形式的記号表現に変換し、同値変換を適用し、自然言語による説明を再構築することにより、EquivAug は表面レベルの語彙変化ではなく推論ステップで異なる訓練データを生成する。 モデルスケールでの GSM8K と FOLIO の実験により、EquivAug は SFT 以降の最も高い推論経路の多様性と GRPO 以降の最大の精度を一貫して達成していることが示された。 以上の結果から,SFT中のCoTの多様性は下流RLVR性能と正の相関が認められた。

関連論文リスト

• SFT Conflicts, RL Coexists: A Theoretical and Empirical Analysis of Multi-Task Learning for LLMs [55.96262261252617]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)に対するマルチタスク推論の強化において、根本的に異なる振る舞いを示す。 予備実験の結果,SFTは多段階訓練下でのタスクコンフリクトに悩まされ,RLは多様なタスクにまたがる安定した共存を可能にした。 マルチタスクトレーニングを分離し,効率と柔軟性を大幅に向上させるパラダイムであるParallel-RLを提案する。
  論文  参考訳（メタデータ） (2026-08-04T12:32:26Z)
• BODHI: Do LLMs Branch Out and Discover Heterogeneous Inferences? [5.571635164072802]
  検証可能な報酬付き強化学習(RLVR)は、様々な推論タスクにわたる大規模言語モデル(LLM)の性能を改善した。 我々は,RLVR学習LLMにおける試験時間探索の性質を,制御された迷路解法実験を用いて,数学的推論トレースから木構造を抽出することによって検討した。 以上の結果から,RLVRモデルにおけるポリシエントロピー崩壊は,単に統語的ではなく,意味的分岐エントロピーの大幅な減少を伴っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-08-03T20:37:54Z)
• Probing the Origins of Reasoning Performance: Representational Quality for Mathematical Problem-Solving in RL vs. SFT Fine-Tuned Models [2.497936211748472]
  強化学習(RL)によって訓練された大規模な推論モデルは、数学的推論タスクにおいて教師付き微調整(SFT)よりも優れていることがますます示されている。 第一に,RLモデルはSFTモデルと比較して解答正解率の予測において高い精度を達成しがちであることを示す。 第2に、平均アブレーション研究により、RLモデルはより深い層が徐々に重要になる階層構造を発達させ、SFTモデルは層間で重要性を均一に分配することを示した。
  論文  参考訳（メタデータ） (2026-07-28T17:42:42Z)
• What are Key Factors for Updates in RL for LLM Reasoning? [41.37684066124904]
  本研究では,ロールアウト毎の勾配ステップ数によって決定される非政治的度合いの違いが,重要サンプリング率の分布とクリッピング挙動に大きく影響していることを示す。 これらの結果から, トークン群間の境界を, 重要サンプリング比の実験的分散に応じてクリッピングする適応クリップポリシー最適化 (ACPO) を提案する。
  論文  参考訳（メタデータ） (2026-06-21T16:14:46Z)
• Reassessing the Role of Supervised Fine-Tuning: An Empirical Study in VLM Reasoning [30.751908700207185]
  SFTはいくつかのシナリオで重要な役割を果たす。 2Kしか持たないSFTは20KでRLに匹敵するまたはより良い推論性能を達成している。 より高い報酬は、RLの推論精度と相関しない。
  論文  参考訳（メタデータ） (2025-12-14T13:46:42Z)
• Tailored Primitive Initialization is the Secret Key to Reinforcement Learning [61.29280885291581]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高めるための強力なパラダイムとして登場した。 多様な,高品質な推論プリミティブによるLLMの初期化は,安定かつサンプル効率のよいRLトレーニングを実現する上で不可欠である,と我々は主張する。 そこで我々は,新しい推論プリミティブを自動的に発見し,キュレートする微調整パイプラインであるTailorを提案する。
  論文  参考訳（メタデータ） (2025-11-16T03:12:40Z)
• Supervised Fine-Tuning or Contrastive Learning? Towards Better Multimodal LLM Reranking [56.46309219272326]
  大型言語モデル(LLM)では、教師付き微調整(SFT)による分類は、関連する(非関連)ペアに対して'yes' (resp. ''no')トークンを予測する。 この分散は中心的な疑問を提起する:どの目的がLLMベースのリランクに本質的に適しているか、どのメカニズムが違いの根底にあるのか? 我々はCLとSFTの総合的な比較と分析を行い、ユニバーサルマルチモーダル検索(UMR)を実験場とした。
  論文  参考訳（メタデータ） (2025-10-16T16:02:27Z)
• Reasoning Models Hallucinate More: Factuality-Aware Reinforcement Learning for Large Reasoning Models [83.24079543652253]
  大規模言語モデル(LLM)は、強化学習(RL)最適化を通じて、推論タスクにおいて著しく進歩している。 しかし、推論指向RL微調整は幻覚の頻度を著しく高めている。 本稿では,明示的事実性検証を取り入れた革新的なRL微調整アルゴリズムであるFSPOを提案する。
  論文  参考訳（メタデータ） (2025-05-30T14:23:32Z)
• SFT or RL? An Early Investigation into Training R1-Like Reasoning Large Vision-Language Models [39.551767637896404]
  本研究は、LVLM(Large Vision-Language Models)のトレーニングにおいて、支配的な教師付き微調整(SFT)、強化学習(RL)パラダイムを再考する。 SFTは、専門家モデルから模倣された擬似推論経路を誘導することにより、その後のRLを著しく損なう可能性があることを示す。 我々は,LVLMにおける推論を支援するために設計された,新しいマルチモーダルデータセットであるVLAA-Thinkingを紹介する。
  論文  参考訳（メタデータ） (2025-04-10T16:54:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。