論文の概要: Decomposing Elements of Problem Solving: What "Math" Does RL Teach?

• arxiv url: http://arxiv.org/abs/2505.22756v1
• Date: Wed, 28 May 2025 18:18:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.468877
• Title: Decomposing Elements of Problem Solving: What "Math" Does RL Teach?
• Title（参考訳）: 問題解決の要素を分解する: RLが教える"マスト"とは?
• Authors: Tian Qin, Core Francisco Park, Mujin Kwun, Aaron Walsman, Eran Malach, Nikhil Anand, Hidenori Tanaka, David Alvarez-Melis,
• Abstract要約: 私たちは問題解決を、計画、実行、検証という基本的な機能に分解します。 RLを訓練したモデルは、計画スキルが不十分なため、基本的に新しい問題に悩まされ、"カバーウォール"にぶつかっていることを示す。 本研究は, LLM推論の強化におけるRLの役割について考察し, 重要な限界を明らかにするとともに, これらの障壁を克服するための道筋を示唆する。
• 参考スコア（独自算出の注目度）: 22.517954679764244
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Mathematical reasoning tasks have become prominent benchmarks for assessing the reasoning capabilities of LLMs, especially with reinforcement learning (RL) methods such as GRPO showing significant performance gains. However, accuracy metrics alone do not support fine-grained assessment of capabilities and fail to reveal which problem-solving skills have been internalized. To better understand these capabilities, we propose to decompose problem solving into fundamental capabilities: Plan (mapping questions to sequences of steps), Execute (correctly performing solution steps), and Verify (identifying the correctness of a solution). Empirically, we find that GRPO mainly enhances the execution skill-improving execution robustness on problems the model already knows how to solve-a phenomenon we call temperature distillation. More importantly, we show that RL-trained models struggle with fundamentally new problems, hitting a 'coverage wall' due to insufficient planning skills. To explore RL's impact more deeply, we construct a minimal, synthetic solution-tree navigation task as an analogy for mathematical problem-solving. This controlled setup replicates our empirical findings, confirming RL primarily boosts execution robustness. Importantly, in this setting, we identify conditions under which RL can potentially overcome the coverage wall through improved exploration and generalization to new solution paths. Our findings provide insights into the role of RL in enhancing LLM reasoning, expose key limitations, and suggest a path toward overcoming these barriers. Code is available at https://github.com/cfpark00/RL-Wall.
• Abstract（参考訳）: 数学的推論タスクは、特にGRPOのような強化学習(RL)法では、LLMの推論能力を評価するための顕著なベンチマークとなっている。 しかし、精度の指標だけでは、能力のきめ細かい評価をサポートしておらず、どの問題解決スキルが内部化されているかを明らかにすることができない。 これらの能力をよりよく理解するために、我々は問題解決を基本的な機能に分解することを提案する: 計画(質問をステップのシーケンスにマッピングする)、実行(正しい解ステップを実行する)、検証(解の正しさを識別する)。 実験により,GRPOは温度蒸留と呼ばれる現象の解法をモデルがすでに知っている問題に対して,実行スキル向上による堅牢性の向上を主目的とすることがわかった。 さらに重要なことは、RLで訓練されたモデルは、計画スキルが不十分なため、基本的に新しい問題に苦しむことを示します。 より深くRLの影響を探るため、数学的問題解決のアナロジーとして、最小限の合成解木ナビゲーションタスクを構築した。 この制御されたセットアップは、経験的な結果を再現し、RLが主に実行の堅牢性を高めることを確認します。 重要なことは、この環境では、RLが探索を改善し、新しい解経路への一般化を通じて、カバーウォールを克服できる可能性のある条件を特定することである。 本研究は, LLM推論の強化におけるRLの役割について考察し, 重要な限界を明らかにするとともに, これらの障壁を克服するための道筋を示唆する。 コードはhttps://github.com/cfpark00/RL-Wallで入手できる。

関連論文リスト

• Enhancing Efficiency and Exploration in Reinforcement Learning for LLMs [12.087316618902433]
  大型言語モデル(LLM)の推論は複雑なタスクに優れている。 既存のアプローチでは、強化学習(RL)中に全ての質問に同じ数のロールアウトを割り当てている。 本稿では,問題の難易度に基づいて動的にロールアウト予算を割り当てる機構を提案する。
  論文  参考訳（メタデータ） (2025-05-24T07:28:29Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)
• Improving RL Exploration for LLM Reasoning through Retrospective Replay [45.00643118030677]
  本稿では,Retrospective Replay-based Reinforcement Learning (RRL) という新しいアルゴリズムを提案する。 RRLにより、モデルが早期に特定された有望な状態を再検討し、探索の効率性と有効性を向上させることができる。
  論文  参考訳（メタデータ） (2025-04-19T17:40:04Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Improving Large Language Models via Fine-grained Reinforcement Learning with Minimum Editing Constraint [104.53687944498155]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練に広く用いられている。 本稿では,報酬モデルとして生成モデルを組み込んだRL法 RLMEC を提案する。 生成報酬モデルに基づいて、トレーニングのためのトークンレベルRL目標と、RLプロセスの安定化のための模倣ベース正規化を設計する。
  論文  参考訳（メタデータ） (2024-01-11T17:58:41Z)
• A Survey of Meta-Reinforcement Learning [69.76165430793571]
  我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。 本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。 RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
  論文  参考訳（メタデータ） (2023-01-19T12:01:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。