論文の概要: When RL Suppresses Its Own Vocabulary: Recovering Reasoning Diversity in Puzzle-to-Math Transfer

• arxiv url: http://arxiv.org/abs/2605.29190v1
• Date: Thu, 28 May 2026 00:04:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.565926
• Title: When RL Suppresses Its Own Vocabulary: Recovering Reasoning Diversity in Puzzle-to-Math Transfer
• Title（参考訳）: RLが自身の語彙を抑える時--毛細管間移動における推論の多様性の回復
• Authors: Mayug Maniparambil, Arjun Karuvally, Terrence Sejnowski, Fergal Reid,
• Abstract要約: ポストトレーニングデータにおける数学問題のない7Bモデルにおけるクロスドメイン転送について検討する。 9クラススパンとモチーフ抽出を組み合わせた推論プリミティブなフレームワークを導入する。 パズル SFT は,OlymMATH-Hard に対して,$7$pp の textttpass@32 のボキャブラリを誘導する。
• 参考スコア（独自算出の注目度）: 3.9884634110676096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning using verifiable rewards (RLVR) improves LLM reasoning, but the conditions under which it transfers across domains -- and why it does so -- remain under-explored. We study cross-domain transfer in a 7B model whose SFT and RL post-training stages use only constraint-satisfaction puzzles, with no mathematics problems in the post-training data. To analyze how transfer emerges, we introduce a reasoning primitive-level framework that combines a 9-class span classifier with motif extraction, allowing us to segment chain-of-thought traces into primitive motifs and track their evolution across training stages and domains. We find that puzzle SFT induces a reasoning-primitive vocabulary, yielding a $+7$pp \texttt{pass@32} gain on OlymMATH-Hard. Vanilla GSPO then composes these primitives into longer compute-verify chains, adding a further $+6$pp. However, this RL stage also suppresses exploratory primitives such as \textit{hypothesize} and \textit{backtrack}. To address this, we introduce a novelty bonus that rewards diverse correct rollouts, using perplexity under the reference model as a signal. This restores recovery primitives during RL and adds a further $+7$pp \texttt{pass@32} relative to vanilla GSPO. Finally, the end-to-end recipe raises the hard-math capability ceiling from $16.0\%$ at the OLMo3-7B-Instruct-SFT base to $36.0\%$, without adding any mathematics problems during the SFT or RL stages.
• Abstract（参考訳）: 検証可能な報酬(RLVR)を用いた強化学習は、LLM推論を改善するが、それがドメイン間で転送される条件 -- と、なぜそうなるのか -- は、まだ未解明のままである。 本研究では,SFTおよびRLが制約満足パズルのみを使用する7Bモデルにおけるクロスドメイン転送について検討する。 そこで我々は,9クラススパン分類器とモチーフ抽出を組み合わせ,原始的なモチーフにチェーンオブソートトレースを分割し,トレーニング段階とドメインをまたいでそれらの進化を追跡する,推論プリミティブレベルのフレームワークを提案する。 パズル SFT は OlymMATH-Hard に対して$+7$pp \texttt{pass@32} のボキャブラリを誘導する。 バニラGSPOは、これらのプリミティブをより長い計算検証チェーンに構成し、さらに$6$ppを加算する。 しかし、この RL ステージは \textit{hypothesize} や \textit{backtrack} のような探索的プリミティブも抑制する。 そこで本研究では,レファレンスモデルの下でのパープレキシティを信号として利用して,多様な適切なロールアウトを報奨するノベルティボーナスを提案する。 これにより、RL中にリカバリプリミティブを復元し、バニラGSPOに対してさらに$+7$pp \texttt{pass@32}を追加する。 最後に、エンドツーエンドのレシピでは、OLMo3-7B-Instruct-SFTベースで16.0\%から36.0\%に高められる。

関連論文リスト

• Transformers Provably Learn to Internalize Chain-of-Thought [65.41010769606844]
  Implicit Chain-of-Thought (ICoT) は、隠れた状態の中で中間段階を内部化するモデルを訓練する。 Log-ICoTはシンキングトークンを一度に削除し、$k$のリニアから対数へのステージ数を削減します。 多層変圧器の実験により理論が確認され、より深い層に段階的に推論がどのように吸収されるかが可視化される。
  論文  参考訳（メタデータ） (2026-05-27T15:17:06Z)
• Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
  本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。 VIGORはポリシーモデルのみを使用する単純な報酬です。 数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
  論文  参考訳（メタデータ） (2026-05-11T03:15:37Z)
• Can RL Teach Long-Horizon Reasoning to LLMs? Expressiveness Is Key [10.342627180897313]
  本稿では,2軸の難易度を独立に制御する合成論理推論フレームワークであるScaleLogicを紹介する。 RLのトレーニング計算である$T$は、推論深度に関する電力法則に従うことを示す。 より表現力のあるトレーニング設定は、より大きなパフォーマンス向上とより計算効率の高い転送をもたらす。
  論文  参考訳（メタデータ） (2026-05-07T17:48:42Z)
• Mitigating Distribution Sharpening in Math RLVR via Distribution-Aligned Hint Synthesis and Backward Hint Annealing [2.354398950453436]
  検証可能な報酬(RLVR)による強化学習は、難解な数学問題に対する解のカバレッジを狭めながら、推論精度を低コストで向上させることができる。 既存のヒントベースのアプローチは、挑戦的な質問をトレーニング可能にするが、2つの問題が未解決のまま残されている。
  論文  参考訳（メタデータ） (2026-04-09T03:08:41Z)
• Co-rewarding: Stable Self-supervised RL for Eliciting Reasoning in Large Language Models [56.055015597319674]
  検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力の向上に有効である 近年の自己回帰法は LLM の推論能力を解き放つためのラベルフリーな代替手段について検討している。 我々は、他の視点から補完的な監督を求めることにより、トレーニングの安定性を向上させる新しい自己監督型RLフレームワークであるtextitCo-rewardingを提案する。
  論文  参考訳（メタデータ） (2025-08-01T08:09:14Z)
• The Limits of Transfer Reinforcement Learning with Latent Low-rank Structure [9.631640936820126]
  多くの強化学習アルゴリズムは、問題の状態と行動空間のA$であるSが大きすぎるため、実際に使用するには高すぎる。 我々は、ソースとターゲットのMDPが遷移カーネルを持つ場合、遅延低ランク表現を転送する問題を考察する。 提案アルゴリズムは,各ソースMDPの潜在表現を学習し,その線形構造を利用して,ターゲットMDPの後悔境界における$S,A$,あるいは$SA$への依存を除去する。
  論文  参考訳（メタデータ） (2024-10-28T23:12:08Z)
• Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning [54.585428241509234]
  逆カリキュラム強化学習(RL)によるR$3の学習推論を提案する。 RLは、大規模言語モデルのプロセス監視の利点を達成するために、結果監視のみを採用する。
  論文  参考訳（メタデータ） (2024-02-08T16:46:26Z)
• Minimax-Optimal Multi-Agent RL in Zero-Sum Markov Games With a Generative Model [50.38446482252857]
  2人プレイのゼロサムマルコフゲームは多エージェント強化学習においておそらく最も基本的な設定である。 我々は,$$ widetildeObiggを用いて,$varepsilon$-approximate Markov NEポリシーを学習する学習アルゴリズムを開発した。 我々は、分散型量の役割を明確にするFTRLに対する洗練された後悔境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T17:24:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。