論文の概要: From Outcomes to Strategies: Learning Strategy Utility for Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2609.32482v1
• Date: Sat, 26 Sep 2026 11:22:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 08:44:27.391086
• Title: From Outcomes to Strategies: Learning Strategy Utility for Mathematical Reasoning
• Title（参考訳）: 成果から戦略へ:数学的推論のための学習戦略ユーティリティ
• Abstract要約: 検証可能な報酬による強化学習は、数学的推論を大幅に改善した。 本稿では、戦略が正しい下流ソリューションをサポートする可能性として定義される戦略ユーティリティについて検討する。 相対戦略ユーティリティの学習と活用のためのフレームワークであるSUREを紹介する。
• 参考スコア（独自算出の注目度）: 16.964539489845745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards has substantially improved mathematical reasoning. However, terminal correctness alone provides limited insight into the quality of high-level strategies, such as theorem selection and subgoal decomposition, when considered separately from their subsequent execution. This paper studies strategy utility, which is defined as the likelihood that a strategy supports a correct downstream solution under a given executor. We introduce SURE, a framework for learning and leveraging relative strategy utility. In this framework, high-level strategies are separated from their detailed reasoning. Based on the pairwise preferences constructed from strategy-conditioned rollouts and teacher-generated contrasts, a Strategy Reward Model is learned to estimate relative strategy utility. During reinforcement learning, the frozen reward model reads only the extracted strategy, whose score is combined with the correctness and format rewards in a sequence-level GRPO objective. Compared with outcome-and-format GRPO baselines, experiments show that SURE improves average pass@1 by 1.87%, 2.64%, and 2.93% across three policy backbones. Our method also achieves competitive or better accuracy than stronger reward baselines while requiring substantially lower GRPO-stage compute.
• Abstract（参考訳）: 検証可能な報酬による強化学習は、数学的推論を大幅に改善した。 しかし、終端正当性だけでは、その後の実行とは別途考慮される場合、定理の選択や部分分解のような高次戦略の質に関する限られた洞察を与える。 本稿では,特定の実行者の下で,戦略が正しい下流ソリューションをサポートする可能性として定義される戦略ユーティリティについて検討する。 相対戦略ユーティリティの学習と活用のためのフレームワークであるSUREを紹介する。 このフレームワークでは、高レベルの戦略が彼らの詳細な推論から分離されます。 戦略条件付きロールアウトと教師生成コントラストから構築したペアワイズ選好に基づいて,ストラテジー・リワード・モデル(Strategy Reward Model)を学習し,相対戦略ユーティリティを推定する。 強化学習中、凍結報酬モデルは抽出された戦略のみを読み出し、そのスコアは、シーケンスレベルのGRPO目標における正しさと形式報酬とを結合する。 GRPOベースラインと比較すると、SUREは平均パス@1を1.87%改善し、2.64%、および2.93%を3つのポリシーバックボーンで改善している。 提案手法は,GRPOステージ計算を著しく低めながら,より強力な報酬ベースラインよりも競争力や精度を向上する。

関連論文リスト

• Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning [76.93011742289768]
  強い言語モデルから弱い言語モデルへの推論能力の蒸留は、典型的には特定の解軌跡を模倣する。 この軌道レベルの模倣は、伝達可能な問題解決スキルの獲得よりも、インスタンス固有のステップの記憶を促進する。 再利用可能な戦略蒸留にインスタンスレベルの軌道模倣を置き換えた戦略誘導型政策最適化を提案する。
  論文  参考訳（メタデータ） (2026-06-23T02:14:12Z)
• StraTA: Incentivizing Agentic Reinforcement Learning with Strategic Trajectory Abstraction [76.50439715778869]
  StraTAは、エージェント強化学習に明確な軌道レベルの戦略を導入するフレームワークである。 ALFWorld、WebShop、SciWorldの実験では、StraTAはサンプル効率と最終的なパフォーマンスの両方を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-07T17:51:16Z)
• Are complicated loss functions necessary for teaching LLMs to reason? [0.16383644639245779]
  グループ相対政策最適化は、大規模言語モデル(LLM)において有望であることを示す。 ReINFORCE with Group Relative Advantage (RGRA) は、グループ相対的優位性を保ちつつ、PPOスタイルのクリッピングとポリシー比の項を除去する単純化された変種である。 以上の結果から,よりシンプルなREINFORCEベースのアプローチはLLMの推論を効果的に促進し,GRPOのより透明で効率的な代替手段を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-03-19T11:06:49Z)
• Strategy Executability in Mathematical Reasoning: Leveraging Human-Model Differences for Effective Guidance [86.46794021499511]
  戦略利用と戦略実行可能性の間には、これまで未定のギャップがある。 SSR(Selective Strategy Retrieval)は,実行可能性を明確にモデル化するテストタイムフレームワークである。 SSRは、直接解決、文脈内学習、単一ソースガイダンスよりも信頼性が高く一貫した改善をもたらす。
  論文  参考訳（メタデータ） (2026-02-26T03:34:23Z)
• Cleaning the Pool: Progressive Filtering of Unlabeled Pools in Deep Active Learning [8.368114553774065]
  本稿では,複数の戦略を組み合わさったアンサンブル能動学習(AL)手法であるREFINEを紹介する。 プログレッシブフィルタリングは、AL戦略のアンサンブルを考慮してラベル付けされていないプールを反復的に洗練する。 カバレッジベースの選択は、この洗練されたプールから最終バッチを選択し、以前は認識されていたすべての値の概念が説明されるようにします。
  論文  参考訳（メタデータ） (2025-11-27T11:28:18Z)
• Scaf-GRPO: Scaffolded Group Relative Policy Optimization for Enhancing LLM Reasoning [49.290631188365786]
  Scaf-GRPOは、モデルの独立した学習が停滞した時に介入するトレーニングフレームワークである。 これはQwen2.5-Math-7Bモデルのパス@1スコアを、バニラGRPOベースラインよりも44.3%向上させる。 この結果から、我々のフレームワークは、それまで到達範囲を超えていた問題を解決するモデルの能力を解き放つ、堅牢で効果的な方法論を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-22T17:41:30Z)
• Reinforced Strategy Optimization for Conversational Recommender Systems via Network-of-Experts [63.412646471177645]
  会話レコメンダシステム(CRS)のための新しい強化戦略最適化(RSO)手法を提案する。 RSOは、戦略駆動型応答決定をマクロレベルの戦略計画とマイクロレベルの戦略適応に分解する。 実験の結果, RSOは最先端のベースラインと比較して, インタラクション性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2025-09-30T11:12:01Z)
• Plan before Solving: Problem-Aware Strategy Routing for Mathematical Reasoning with LLMs [49.995906301946]
  既存の手法は通常、数学的推論を行うためにLLM(Large Language Models)をガイドするための固定戦略を利用する。 分析の結果,単一戦略は問題固有の要件に適応できず,有効性と効率性のトレードオフを見落としていることが明らかとなった。 本稿では,PRISM(Planning and Routing through Instance-Specific Modeling)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。