論文の概要: How RL Reshapes LLM Reasoning: Transferability, Coverage, and Scaling Laws
- arxiv url: http://arxiv.org/abs/2610.04158v1
- Date: Sat, 03 Oct 2026 00:01:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 19:44:00.585473
- Title: How RL Reshapes LLM Reasoning: Transferability, Coverage, and Scaling Laws
- Title（参考訳）: RLがLLM推論にどう影響するか:トランスファービリティ、カバレッジ、スケーリングの法則
- Abstract要約: 数学のトレーニングは他の領域のパフォーマンスを向上させることができるが、Pass@1のゲインはベースモデルよりも低いPass@$N$と一致する。
我々はRLの暗黙の偏見が戦略の選好にどう影響するかを証明し、あるタスクにおいて他のタスクが必要とする戦略を抑えながら利益を得ることを可能にする。
- 参考スコア（独自算出の注目度）: 23.35450551061754
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies on reinforcement learning (RL) report seemingly conflicting evidence about large language model (LLM) reasoning. Training on mathematics can improve performance in other domains, yet gains in Pass@1 can coincide with lower Pass@$N$ than the base model. This raises a fundamental question: does RL expand an LLM's reasoning boundary, or merely reweight its existing reasoning space? We revisit these phenomena across Qwen and Gemma model families, showing both cross-domain gains and forgetting, while coverage at large sampling budgets increases on some tasks and decreases on others. Detailed analysis of solution traces before and after RL indicates a shift in the reasoning strategies the model employs, motivating a two-stage autoregressive policy model that separates \emph{strategy selection} from problem-specific execution. Within this framework, we prove how RL's implicit bias reshapes strategy preferences, allowing gains on some tasks while suppressing strategies required by others. This mechanism can also broaden or narrow coverage at a given sampling budget even without expanding strategy support. We further provide theoretical justifications for log-sigmoid and log-linear scaling laws in RL compute, and evaluate their predictive power. Together, these results connect changes in strategy selection to cross-domain transfer, reasoning coverage, and compute scaling.
- Abstract（参考訳）: 強化学習(RL)の最近の研究は、大規模言語モデル(LLM)推論に関する矛盾する証拠を報告している。
数学のトレーニングは他のドメインのパフォーマンスを改善することができるが、Pass@1のゲインはベースモデルよりも低いPass@$N$と一致する。
RL は LLM の推論境界を拡張するのか、それとも単に既存の推論空間を再重み付けするのか?
我々はこれらの現象をQwenモデルとGemmaモデルファミリで再検討し、ドメイン間の利得と忘れることの両方を示し、大規模なサンプリング予算でのカバレッジはタスクによって増加し、他では減少することを示した。
RL 前後の解トレースの詳細な分析は、モデルが採用する推論戦略の変化を示し、問題固有の実行から \emph{strategy selection} を分離する2段階の自己回帰政策モデルを動機付けている。
この枠組みでは、RLの暗黙の偏見が戦略の嗜好にどう影響するかを実証し、あるタスクにおいて他のタスクが必要とする戦略を抑えながら利益を得ることを可能にする。
この機構は、戦略支援を拡大することなく、所定のサンプリング予算で範囲を広げたり狭めたりすることもできる。
さらに、RL計算における対数シグミドおよび対数線形スケーリング法則の理論的正当性を提案し、その予測能力を評価する。
これらの結果は、戦略選択の変化をクロスドメイン転送、推論カバレッジ、計算スケーリングに結びつける。
関連論文リスト
- ExpRL: Exploratory RL for LLM Mid-Training [40.4311030968937]
スパース報酬強化学習(RL)はLLM推論を改善するための標準ツールとなっている。
より自動化されたアプローチについて検討する: emphRL に基づく中級訓練において、人間による質問応答データの大規模なコーパスを用いて検討する。
参照はポリシーから隠され、問題固有のグレーディングルーブを構築するためにのみ使用される。
論文 参考訳（メタデータ） (2026-06-15T17:50:44Z) - SPS: Steering Probability Squeezing for Better Exploration in Reinforcement Learning for Large Language Models [51.99912169291891]
強化学習(Reinforcement Learning, RL)は、推論指向モデルをトレーニングするための有望なパラダイムとして登場した。
逆強化学習(IRL)で従来のRLをインターリーブする学習パラダイムを提案する。
この結果から,RLとIRLの交互接続は,推論指向の大規模言語モデルの探索能力向上に有効な経路であることが示唆された。
論文 参考訳（メタデータ） (2026-04-18T13:49:47Z) - Does RL Expand the Capability Boundary of LLM Agents? A PASS@(k,T) Analysis [16.739617199649615]
効率改善から機能拡張を分離する指標であるPASS@(k,T)を紹介する。
我々の主な発見は、静的推論結果とは対照的に、ツール利用RLは機能境界を真に拡大するということです。
一致したトレーニングデータの下では、教師付き微調整は、同じ構成上の境界を回帰させ、因果因子として自己指向的な探索を分離する。
論文 参考訳（メタデータ） (2026-04-16T11:06:19Z) - Reinforcement Learning with Promising Tokens for Large Language Models [11.420715885411925]
強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の整合と最適化のための重要なパラダイムとして登場した。
本稿では,トークン生成から戦略的意思決定を分離することで行動空間の問題を軽減するフレームワークであるReinforcement Learning with Promising Tokens(R)を紹介する。
論文 参考訳（メタデータ） (2026-02-03T07:08:06Z) - How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns [51.02752099869218]
大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。
推論を原子核スキルに分解する新しいベンチマークを導入する。
SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
論文 参考訳（メタデータ） (2025-12-30T08:16:20Z) - Nudging the Boundaries of LLM Reasoning [77.26972440427285]
現在のオンライン強化学習アルゴリズムは、モデルに「解決不可能」な問題から学べない。
自己生成ヒントを用いてLLM推論の上界を推し進める「看護」手法であるNuRLを提案する。
NuRLは、テスト時間スケーリングを補完しながら、6つのベンチマークと3つのモデルで一貫した改善を実現している。
論文 参考訳（メタデータ） (2025-09-30T02:01:40Z) - Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。
SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。
我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
論文 参考訳（メタデータ） (2025-06-05T07:53:59Z) - ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models [89.37819814048288]
本稿では,KL分散制御,参照ポリシ,多様なタスクスイートを取り入れた新しいトレーニング手法であるProRLを紹介する。
我々の経験的分析により、RL学習モデルは、広範囲のpass@k評価において、ベースリセットモデルよりも一貫して優れていたことが明らかとなった。
これらの知見は、RLが言語モデルにおける推論境界を有意に拡張する条件について、新たな洞察を与える。
論文 参考訳（メタデータ） (2025-05-30T17:59:01Z) - RAST: Reasoning Activation in LLMs via Small-model Transfer [33.32587030836428]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なアプローチとなっている。
大規模にRLを適用することは、潜在的にリソース集約であり、複数のモデルコピーと広範なGPUワークロードを必要とします。
本稿では、RL学習モデルからRL学習モデルからより大規模なモデルにRL誘導確率調整を注入することにより、推論挙動を伝達する簡易かつ効果的なRASTを提案する。
論文 参考訳（メタデータ） (2025-05-30T17:57:08Z) - Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [66.61292196146016]
RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。
本研究はRLVRの現状を批判的に考察する。
現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
論文 参考訳（メタデータ） (2025-04-18T17:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。