論文の概要: All Work And No Play Makes Jack a Dull Boy: Understanding and Preventing Catastrophic Strategy Collapse in RLVR

• arxiv url: http://arxiv.org/abs/2610.02835v1
• Date: Fri, 02 Oct 2026 05:27:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 09:54:32.23623
• Title: All Work And No Play Makes Jack a Dull Boy: Understanding and Preventing Catastrophic Strategy Collapse in RLVR
• Title（参考訳）: RLVRでジャックが破滅的な戦略崩壊を防げる「All Work and No Play」
• Abstract要約: 大規模言語モデルのポストトレーニング中、GRPOスタイルのアルゴリズムは深刻な後期崩壊を示す。 我々は最適化力学と情報理論を組み合わせた統一理論フレームワークを開発した。 我々は、複数の推論戦略を公開し、単一の戦略が支配的な最適化を妨げているtextbfMesh Learningを提案する。
• 参考スコア（独自算出の注目度）: 4.765206163164323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: During post-training of large language models (LLMs) with Reinforcement Learning with Verifiable Rewards (RLVR), GRPO-style algorithms can exhibit severe late-stage collapse. Prompt-based probing reveals that this is not benign strategic pruning, but a harmful contraction of effective strategy capacity that makes distinct reasoning strategies increasingly inaccessible. To characterize this phenomenon, we define strategies through trajectory-level policy-update interactions and develop a unified theoretical framework combining optimization dynamics and information theory. We prove that major RLVR objectives progressively concentrate probability mass onto a single strategy, while sustaining nontrivial task accuracy requires a minimum strategy capacity. The conflict between these two results provides a mechanistic explanation for catastrophic collapse. We further derive the {Mirrored Entanglement Index (MEI)} as a lightweight online warning signal. To prevent collapse, we propose \textbf{Mesh Learning}, which exposes multiple reasoning strategies and prevents any single strategy from dominating optimization. Across AIME26, AIME25, MATH-500, GPQA, and LiveCodeBench, Mesh Learning consistently outperforms strong baselines across Qwen and Phi model families, with gains of up to 13.4 pp and 11.5 pp, respectively. These results establish strategy preservation as a key principle for stable RLVR. Code is available at https://github.com/Ayanami-0123/Open-Mesh-Learning.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)を用いた大規模言語モデル(LLM)のポストトレーニングでは、GRPOスタイルのアルゴリズムは、深刻な後期崩壊を示す。 プロンプトに基づく探索は、これは良心的な戦略打破ではなく、効果的な戦略能力の有害な収縮であり、明確な推論戦略がますますアクセス不能になることを示している。 この現象を特徴づけるために、軌道レベルの政策更新相互作用を通じて戦略を定義し、最適化力学と情報理論を組み合わせた統一理論フレームワークを開発する。 RLVRの主な目的は、確率質量を1つの戦略に徐々に集中させることであり、非自明なタスク精度を維持するためには、最小の戦略能力が必要である。 この2つの結果の対立は、破滅的な崩壊を機械論的に説明する。 さらに、軽量なオンライン警告信号として {Mirrored Entanglement Index (MEI) を導出する。 崩壊を防止するために,複数の推論戦略を公開し,一つの戦略が最適化を支配することを防止した「textbf{Mesh Learning}」を提案する。 AIME26、AIME25、MATH-500、GPQA、LiveCodeBenchの他、Mesh LearningはQwenモデルとPhiモデルファミリの強力なベースラインを一貫して上回り、それぞれ13.4ppと11.5ppとなっている。 これらの結果から,安定したRLVRの鍵となる戦略保存が確立された。 コードはhttps://github.com/Ayanami-0123/Open-Mesh-Learningで公開されている。

関連論文リスト

• From Outcomes to Strategies: Learning Strategy Utility for Mathematical Reasoning [16.964539489845745]
  検証可能な報酬による強化学習は、数学的推論を大幅に改善した。 本稿では、戦略が正しい下流ソリューションをサポートする可能性として定義される戦略ユーティリティについて検討する。 相対戦略ユーティリティの学習と活用のためのフレームワークであるSUREを紹介する。
  論文  参考訳（メタデータ） (2026-09-26T11:22:31Z)
• Strategy Executability in Mathematical Reasoning: Leveraging Human-Model Differences for Effective Guidance [86.46794021499511]
  戦略利用と戦略実行可能性の間には、これまで未定のギャップがある。 SSR(Selective Strategy Retrieval)は,実行可能性を明確にモデル化するテストタイムフレームワークである。 SSRは、直接解決、文脈内学習、単一ソースガイダンスよりも信頼性が高く一貫した改善をもたらす。
  論文  参考訳（メタデータ） (2026-02-26T03:34:23Z)
• R2PS: Worst-Case Robust Real-Time Pursuit Strategies under Partial Observability [25.176860778665173]
  本稿では, 部分観測可能条件下でのロバストなリアルタイム追従戦略(R2PS)について紹介する。 我々はまず,マルコフPEGを解くための従来の動的プログラミング(DP)アルゴリズムが,回避者による非同期動作の下で最適性を維持することを証明した。 次に,回避者の可能な位置に関する信念保存機構を提案し,DP追跡戦略を部分的に観察可能な場所に拡張する。
  論文  参考訳（メタデータ） (2025-11-21T16:34:00Z)
• Plan before Solving: Problem-Aware Strategy Routing for Mathematical Reasoning with LLMs [49.995906301946]
  既存の手法は通常、数学的推論を行うためにLLM(Large Language Models)をガイドするための固定戦略を利用する。 分析の結果,単一戦略は問題固有の要件に適応できず,有効性と効率性のトレードオフを見落としていることが明らかとなった。 本稿では,PRISM(Planning and Routing through Instance-Specific Modeling)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:22:41Z)
• Emergent Hierarchical Reasoning in LLMs through Reinforcement Learning [56.496001894673235]
  強化学習(RL)は,大規模言語モデル(LLM)の複雑な推論能力の向上に有効であることが証明された。 解析の結果,アハモーメント,長さスケーリング,エントロピーのダイナミクスといったファズリング現象は異なる現象ではなく,創発的推論階層の目印であることがわかった。
  論文  参考訳（メタデータ） (2025-09-03T18:52:49Z)
• LAS-AT: Adversarial Training with Learnable Attack Strategy [82.88724890186094]
  LAS-ATと呼ばれる「学習可能な攻撃戦略」は、モデル堅牢性を改善するための攻撃戦略を自動生成することを学ぶ。 当社のフレームワークは,強靭性向上のためのトレーニングにAEを使用するターゲットネットワークと,AE生成を制御するための攻撃戦略を生成する戦略ネットワークで構成されている。
  論文  参考訳（メタデータ） (2022-03-13T10:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。