論文の概要: Tree-OPO: Off-policy Monte Carlo Tree-Guided Advantage Optimization for Multistep Reasoning

• arxiv url: http://arxiv.org/abs/2509.09284v1
• Date: Thu, 11 Sep 2025 09:18:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.310386
• Title: Tree-OPO: Off-policy Monte Carlo Tree-Guided Advantage Optimization for Multistep Reasoning
• Title（参考訳）: Tree-OPO:マルチステップ推論のためのオフポリチックモンテカルロツリー誘導アドバンテージ最適化
• Authors: Bingning Huang, Tu Nguyen, Matthieu Zimmer,
• Abstract要約: 我々は,モンテカルロ木探索を緩和して,嗜好に基づく強化学習における政策最適化を改善する方法について検討する。 本稿では,部分的に明らかにされたMCTSロールアウトから完成度を導出するGRPOトレーニングパラダイムを提案する。 最初の結果は、構造化された利点推定は推論品質を安定させ、より良く反映できるが、利点飽和や報奨信号の崩壊といった課題は残ることを示唆している。
• 参考スコア（独自算出の注目度）: 3.6333725470852443
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advances in reasoning with large language models (LLMs) have shown the effectiveness of Monte Carlo Tree Search (MCTS) for generating high-quality intermediate trajectories, particularly in math and symbolic domains. Inspired by this, we explore how MCTS-derived trajectories, traditionally used for training value or reward models, can be repurposed to improve policy optimization in preference-based reinforcement learning (RL). Specifically, we focus on Group Relative Policy Optimization (GRPO), a recent algorithm that enables preference-consistent policy learning without value networks. We propose a staged GRPO training paradigm where completions are derived from partially revealed MCTS rollouts, introducing a novel tree-structured setting for advantage estimation. This leads to a rich class of prefix-conditioned reward signals, which we analyze theoretically and empirically. Our initial results indicate that while structured advantage estimation can stabilize updates and better reflect compositional reasoning quality, challenges such as advantage saturation and reward signal collapse remain. We propose heuristic and statistical solutions to mitigate these issues and discuss open challenges for learning under staged or tree-like reward structures.
• Abstract（参考訳）: 大規模言語モデル(LLM)を用いた推論の最近の進歩は、特に数学や記号領域において、高品質な中間軌道を生成するためのモンテカルロ木探索(MCTS)の有効性を示している。 そこで我々は,MCTSから派生した軌道を,従来のトレーニング値や報酬モデルに応用して,嗜好に基づく強化学習(RL)における政策最適化を改善する方法について検討した。 具体的には,グループ相対的政策最適化 (GRPO) に焦点をあてる。 本稿では,部分的に明らかにされたMCTSロールアウトから完成度を導出するGRPOトレーニングパラダイムを提案する。 これはプレフィックス条件付き報酬信号の豊富なクラスにつながり、理論的および経験的に分析する。 最初の結果から,構造的優位推定は更新を安定化し,構成的推論品質を良く反映するが,便益飽和や報奨信号の崩壊といった課題は残ることが示唆された。 本稿は,これらの問題を緩和するためのヒューリスティックかつ統計的解法を提案し,ステージやツリーのような報酬構造の下で学習する上でのオープンな課題について議論する。

関連論文リスト

• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• Step-level Value Preference Optimization for Mathematical Reasoning [6.318873143509028]
  SVPO(Step-level Value Preference Optimization)と呼ばれる新しいアルゴリズムを導入する。 提案手法は,領域内および領域外両方の数学的推論ベンチマーク上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-06-16T09:06:17Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• Truncating Trajectories in Monte Carlo Reinforcement Learning [48.97155920826079]
  強化学習(RL)において、エージェントは未知の環境で動作し、外部報酬信号の期待累積割引和を最大化する。 我々は,異なる長さの軌跡の収集につながるアプリオリ予算配分戦略を提案する。 軌道の適切な切り離しが性能向上に成功することを示す。
  論文  参考訳（メタデータ） (2023-05-07T19:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。