論文の概要: The Reasoning Boundary Paradox: How Reinforcement Learning Constrains Language Models

• arxiv url: http://arxiv.org/abs/2510.02230v1
• Date: Thu, 02 Oct 2025 17:17:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:21.245943
• Title: The Reasoning Boundary Paradox: How Reinforcement Learning Constrains Language Models
• Title（参考訳）: 推論境界パラドックス:強化学習が言語モデルをいかに制約するか
• Authors: Phuc Minh Nguyen, Chinh D. La, Duy M. H. Nguyen, Nitesh V. Chawla, Binh T. Nguyen, Khoa D. Doan,
• Abstract要約: RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上のための重要な手法である。 最近の証拠は、拡張するのではなく、パラドックス的に推論境界を縮小する可能性があることを示唆している。 本稿では,RLVRの学習力学を解析することにより,RLVRの縮小問題を考察する。
• 参考スコア（独自算出の注目度）: 31.773914661815393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key method for improving Large Language Models' reasoning capabilities, yet recent evidence suggests it may paradoxically shrink the reasoning boundary rather than expand it. This paper investigates the shrinkage issue of RLVR by analyzing its learning dynamics and reveals two critical phenomena that explain this failure. First, we expose negative interference in RLVR, where learning to solve certain training problems actively reduces the likelihood of correct solutions for others, leading to the decline of Pass@$k$ performance, or the probability of generating a correct solution within $k$ attempts. Second, we uncover the winner-take-all phenomenon: RLVR disproportionately reinforces problems with high likelihood, correct solutions, under the base model, while suppressing other initially low-likelihood ones. Through extensive theoretical and empirical analysis on multiple mathematical reasoning benchmarks, we show that this effect arises from the inherent on-policy sampling in standard RL objectives, causing the model to converge toward narrow solution strategies. Based on these insights, we propose a simple yet effective data curation algorithm that focuses RLVR learning on low-likelihood problems, achieving notable improvement in Pass@$k$ performance. Our code is available at https://github.com/mail-research/SELF-llm-interference.
• Abstract（参考訳）: Reinforcement Learning with Verifiable Rewards (RLVR) は、大規模言語モデルの推論能力を向上させる重要な方法として登場したが、近年の証拠は、その拡張よりも推論境界をパラドックス的に縮小する可能性があることを示唆している。 本稿では,RLVRの学習力学を解析し,この失敗を説明する2つの重要な現象を明らかにすることにより,RLVRの縮小問題を考察する。 まず、RLVRにおいて負の干渉を露呈し、特定のトレーニング問題を解決するための学習は、他の人にとって正しいソリューションの可能性を積極的に減らし、Pass@k$パフォーマンスの低下や、$k$試み内で正しいソリューションを生成する確率を低下させる。 第二に、RLVRは不均等に高確率で正しい解の問題をベースモデルの下で強化すると同時に、他の低自由度な問題を抑える。 複数の数学的推論ベンチマークに関する広範な理論的および経験的な分析を通して、この効果は標準RLの目的に固有のオンラインサンプリングから生じ、モデルが狭い解戦略に収束することを示します。 これらの知見に基づき、RLVR学習を低自由度問題に焦点をあて、Pass@$k$のパフォーマンスを顕著に向上させる、単純で効果的なデータキュレーションアルゴリズムを提案する。 私たちのコードはhttps://github.com/mail-research/SELF-llm-interferenceで利用可能です。

関連論文リスト

• CDE: Curiosity-Driven Exploration for Efficient Reinforcement Learning in Large Language Models [85.315711639214]
  モデル固有の好奇心を利用して探索をガイドするフレームワークであるCuriosity-Driven Exploration (CDE)を紹介した。 アクターに対しては、生成された応答に対してパープレキシティを使用し、批判に対しては、マルチヘッドアーキテクチャからの値推定のばらつきを利用する。 理論的分析により,アクターのボーナスは本質的に過度に信頼された誤りを罰し,正しい反応の多様性を促進することが示唆された。
  論文  参考訳（メタデータ） (2025-09-11T17:59:17Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [58.559544190947584]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization [86.30192066451256]
  大規模言語モデル(LLM)のための新しいハイブリッド政治最適化手法RL-PLUSを提案する。 RL-PLUSは、外部データと内部エクスプロイトを相乗化して、より強力な推論能力を達成し、ベースモデルのバウンダリを超える。 提案手法の優位性と一般化性を示すため,理論解析と広範な実験を行った。
  論文  参考訳（メタデータ） (2025-07-31T23:55:29Z)
• The Invisible Leash: Why RLVR May or May Not Escape Its Origin [47.488691410579925]
  RLVRの現在の実践がモデルの推論境界を真に拡張するかどうかは不明である。 現在の訓練条件下では、RLVRはサポート制約付き最適化メカニズムとして動作することができる。 RLVRは精度を確実に向上させるが、探索は徐々に狭くなり、正しく表現されていない解を見落としてしまう可能性がある。
  論文  参考訳（メタデータ） (2025-07-20T07:04:08Z)
• Reinforcement Learning with Verifiable Rewards Implicitly Incentivizes Correct Reasoning in Base LLMs [35.27561531876348]
  本稿では,LLVRを用いた強化学習が大規模言語モデル(LLM)に及ぼす影響を体系的に検討する。 RLVRは数学的タスクとコーディングタスクの両方の推論境界を拡張可能であることを示す。 本稿では,RLVRのインセンティブメカニズムを説明する理論的枠組みについて述べる。
  論文  参考訳（メタデータ） (2025-06-17T07:06:56Z)
• Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [67.30809748319486]
  RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。 本研究はRLVRの現状を批判的に考察する。 現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
  論文  参考訳（メタデータ） (2025-04-18T17:59:56Z)
• Zero-Sum Positional Differential Games as a Framework for Robust Reinforcement Learning: Deep Q-Learning Approach [2.3020018305241337]
  本稿では、位置微分ゲーム理論におけるRRL問題を考慮した最初の提案である。 すなわち、イザックの条件の下では、同じQ-函数をミニマックス方程式とマクシミン・ベルマン方程式の近似解として利用することができる。 本稿ではIssas Deep Q-Networkアルゴリズムについて,他のベースラインRRLやMulti-Agent RLアルゴリズムと比較して,その優位性を示す。
  論文  参考訳（メタデータ） (2024-05-03T12:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。