論文の概要: OPTS-TTPO: Enhancing Finite-Sample Policy-Gradient Learning with Tree Search
- arxiv url: http://arxiv.org/abs/2609.40035v1
- Date: Wed, 30 Sep 2026 16:06:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:28.025655
- Title: OPTS-TTPO: Enhancing Finite-Sample Policy-Gradient Learning with Tree Search
- Title（参考訳）: OPTS-TTPO:木探索による有限サンプルポリシー勾配学習の強化
- Abstract要約: 木探索が一定の予算内で網羅性を向上させるかどうかを検討した。
On-Policy Parallel Tree Search (OPTS) と Tree Trajectory Policy Optimization (TTPO) を導入する。
TTPOは、訪れた州で現在の政策から新しい接尾辞をサンプリングするオンラインツリートラジェクトリを使用している。
- 参考スコア（独自算出の注目度）: 18.059989803562807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The policy-gradient theorem gives the exact gradient under the current policy, but finite on-policy samples may miss rare high-return trajectories. We study whether tree search improves their coverage within a fixed budget while controlling gradient bias. We introduce On-Policy Parallel Tree Search (OPTS) and Tree Trajectory Policy Optimization (TTPO) using on-policy tree trajectories, which sample new suffixes from the current policy at visited states. This needs no action-distribution correction, although branching changes state visitation. Our Branch Aggregation Lemma shows that branch-weighted tree statistics recover chain expectations when branch choices and weights are fixed before outgoing transitions are sampled. OPTS selects expansion states using estimated performance differences. Under deterministic dynamics, exact values, and max-backup advantages, the induced search policy's expected return improves monotonically with the budget. We bound the gradient bias from adaptive expansion and show that max backup assigns prefix credit to actions leading to better discovered suffixes. Against a finite chain reference, TTPG's measured bias stays near its no-branching level, while NaivePG's bias grows from 0.1251 to 0.4884. At matched budgets, reward- and value-guided OPTS improve correct-answer coverage and majority-vote accuracy over independent sampling. At matched branch counts, OPTS + TTPG gains coverage with a modest bias increase relative to Fixed-branch + TTPG. Under matched interaction or rollout budgets, OPTS-TTPO improves MuJoCo tail returns over PPO by up to 28.6%, achieves a 34-22-1 win-loss-tie record against PPO on Atari-57 under the last-100-log mean-return metric, and improves micro-averaged avg@32 and pass@32 over PPO across all four Qwen3 models.
- Abstract（参考訳）: ポリシー・グラディエント定理は現在の政策の下で正確な勾配を与えるが、有限のオン・ポリティのサンプルは稀なハイ・リターン軌道を見逃す可能性がある。
木探索は, 勾配バイアスを制御しながら, 一定の予算内で網羅性を向上させるかを検討した。
我々は,現在訪問中の州における政策から新たなサフィックスをサンプリングする,オンライン・パラレル・ツリー・サーチ(OPTS)とオンライン・ツリー・トラジェクトリ・ポリシー・オプティマイゼーション(TTPO)を導入する。
分岐は状態の訪問を変えるが、アクション分散の修正は不要である。
分岐集約レマは,枝選択と重みが固定された場合,枝重み付き木の統計値が連鎖予測を回復することを示した。
OPTSは推定性能差を用いて拡張状態を選択する。
決定論的ダイナミクス、正確な値、最大バックアップの利点の下では、誘導された検索ポリシーの期待されたリターンは予算とともに単調に改善される。
我々は適応的拡張から勾配バイアスを拘束し、最大バックアップがプレフィックスクレジットをより良い接尾辞につながるアクションに割り当てることを示す。
有限鎖参照に対して、TTPGの測定バイアスは非分岐レベル近くにとどまり、NaivePGのバイアスは0.1251から0.4884に増加する。
一致した予算では、報酬と価値を導いたOPTSは、独立したサンプリングよりも正解率と多数票の精度を向上する。
一致した分岐数では、OPTS + TTPGはFixed-branch + TTPGと比較して緩やかなバイアスの増加でカバレッジを得る。
マッチしたインタラクションやロールアウトの予算の下で、OPTS-TTPOは、最大28.6%のMuJoCoテールリターンを向上し、最後の100-log平均値でAtari-57のPPOに対して34-22-1勝率記録を達成し、4つのQwen3モデルすべてで平均値のavg@32とpass@32をPPOで改善した。
関連論文リスト
- Free Everywhere, Exact on Trees: PPO's Dropped Correction Buys Sample Efficiency Under Aggressive Reuse [0.0]
本研究では,各状態が正確に1つの履歴に到達した履歴インジェクティブ・ダイナミクスの下では,各状態ビジュアライゼーション比がサンプルプレフィックスに沿ったステップごとのポリシー比の積と等しいことを示す。
クリッピングが既に再利用バイアスを含んでいる場合、全会一致で行われる修正は、有害である。
論文 参考訳（メタデータ） (2026-09-30T12:41:43Z) - EasyPPO: Stabilizing the Critic Is Key [57.76826550536797]
PPO(Proximal Policy Optimization)の主な強みは、その学習的批判である。
批判は、大規模言語モデルの強化学習における不安定性の主要な原因でもある。
EasyPPOはフルトレーニングの地平線を通して安定しており、バニラPPO、VAPO、HL-GaussPPOより一貫して優れている。
論文 参考訳（メタデータ） (2026-09-29T06:15:00Z) - ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning [53.48426046511836]
検証可能な報酬(RLVR)からの強化学習は、複数のポリシー更新のロールアウトを頻繁に再利用する。
本稿では,クリッピングをスムーズな2分岐シーケンスレベルカーネルに置き換えるReSPO(Reshaped Sequence Policy Optimization)を提案する。
本研究では,ReSPO が早期訓練中に長い肯定的推論軌道から効果的に学習できることを実証する。
論文 参考訳（メタデータ） (2026-09-28T15:38:29Z) - EPIG-Tree: Compute-Optimal Branching for Gradient-Efficient Reinforcement Learning [2.173851537704397]
ツリーベースのロールアウト構成を政策段階推定のための計算割当問題として検討する。
我々の中心的な主張は、政策が単に不確実である場所ではなく、追加のブランチが不確実性を最も減少させる場所に置くべきだというものである。
オンラインのシングルターン数学では、ツリーローカルクレジットは平らなGRPOを上回り、分岐配置はトークンレベルのクレジット代入に二次的である。
論文 参考訳（メタデータ） (2026-09-17T10:08:48Z) - Reusing Rollouts under Policy Lag: Prefix-Normalized Policy Optimization for LLM Reinforcement Learning [21.43528083212271]
自己回帰的なロールアウト生成は、強化学習における大きな計算コストである。
PNPOは累積比を、各因果接頭辞に沿った確率比の平均に置き換える。
PNPOは1つのエポックでGSPOを一貫して上回るわけではない。
4エポックのPNPOは150回のロールアウトの後に49.66のAvg@32に到達し、1エポックの600回の後に到達した49.56に匹敵する。
論文 参考訳（メタデータ） (2026-08-02T18:02:03Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。
本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。
実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
論文 参考訳（メタデータ） (2026-05-21T08:25:27Z) - Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。
我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。
7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
論文 参考訳（メタデータ） (2026-05-20T15:14:14Z) - Single-stream Policy Optimization [21.214853668053234]
SPO(Single-stream Policy Optimization)を導入する。
SPOはグループ単位のベースラインを永続的なKL適応値トラッカーに置き換え、バッチ全体にわたってメリットを標準化する。
グループフリーであるため、SPOはより高いスループットと、長い水平またはツール統合された設定で効果的にスケールすることができる。
論文 参考訳（メタデータ） (2025-09-16T16:39:11Z) - The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。
世界的な最適な政策勾配(NPG)に収束する。
O (1/t) レート勾配でのポリシー。
値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
論文 参考訳（メタデータ） (2023-01-16T06:28:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。