論文の概要: Branching Policy Optimization: Sandbox-Native Language Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.14171v1
• Date: Wed, 15 Jul 2026 09:37:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:32.849963
• Title: Branching Policy Optimization: Sandbox-Native Language Agent Reinforcement Learning
• Title（参考訳）: ブランチポリシー最適化 - Sandbox-Native Language Agent Reinforcement Learning
• Abstract要約: Branching Policy Optimization (BPO)は、サンドボックス固有のRLアルゴリズムで、バックボーン軌道に沿って高いエントロピー決定ポイントでサンドボックスをスナップショットする。 我々は、この推定器が非バイアスであり、軌跡レベルベースラインよりも厳密に分散が小さいことを証明した。 BPO は GRPO と RLOO の3.6--6.1 の絶対点が一致した計算で成功し、勾配-ノルムの分散を半減させ、ポリシー更新を38%減らして最良のベースラインと一致させる。
• 参考スコア（独自算出の注目度）: 14.640786318359709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning has emerged as the dominant paradigm for training large language model (LLM) agents that interact with executable sandboxes. State-of-the-art algorithms such as PPO, RLOO, and GRPO inherit their rollout topology from RLHF: for each prompt, N independent trajectories are sampled from the initial state, and an advantage is computed by subtracting a group baseline. This design ignores a defining property of agent sandboxes. They are deterministic, snapshottable, and resumable from any intermediate state. We argue that this property enables a fundamentally different rollout topology: rather than N independent trees of depth T, one can construct a single tree of N leaves whose siblings share prefixes, and therefore share variance. We instantiate this idea as Branching Policy Optimization (BPO), a sandbox-native RL algorithm that (i) adaptively snapshots the sandbox at high-entropy decision points along a backbone trajectory, (ii) forks K alternative actions per branch point and rolls out each to termination, and (iii) computes per-step advantages from sibling returns rather than from independent prompts. We prove this estimator is unbiased and has strictly lower variance than the trajectory-level baseline, with the reduction equal to the prefix-explained portion of return variance. On WebShop, ALFWorld, and SWE-bench Verified with Qwen2.5-7B and Llama-3.1-8B backbones, BPO improves success by 3.6--6.1 absolute points over GRPO and RLOO at matched compute, halves gradient-norm variance, and matches the best baseline using 38% fewer policy updates.
• Abstract（参考訳）: 強化学習は、実行可能サンドボックスと相互作用する大規模言語モデル(LLM)エージェントを訓練する主要なパラダイムとして登場した。 PPO, RLOO, GRPOといった最先端のアルゴリズムはロールアウトトポロジーをRLHFから継承する: 各プロンプトに対して、N個の独立トラジェクトリを初期状態からサンプリングし、グループベースラインを減算することで利点を演算する。 この設計はエージェントサンドボックスの定義プロパティを無視している。 これらは決定論的であり、スナップショット可能であり、任意の中間状態から再利用可能なものである。 我々は、この性質は基本的に異なるロールアウトトポロジーを可能にすると論じる: 深さ T の N 個の独立木ではなく、兄弟がプレフィックスを共有する N 個の葉の1つの木を構築することができ、したがって分散を共有することができる。 私たちはこのアイデアを,サンドボックスネイティブなRLアルゴリズムであるブランチポリシー最適化(BPO)としてインスタンス化する。 (i)背骨軌道に沿って高エントロピー判定点でサンドボックスを適応的にスナップショットする。 (ii)分岐点ごとにKの代替作用をフォークし、それぞれを終了にロールアウトし、 (iii)独立したプロンプトではなく、兄弟のリターンによるステップごとのアドバンテージを計算する。 我々は,この推定器が偏りがなく,トラジェクトリレベルのベースラインよりも厳密に分散を低くし,その縮小は戻り分散のプレフィックス記述部分と等しいことを証明した。 WebShop, ALFWorld, SWE-bench で Qwen2.5-7B と Llama-3.1-8B のバックボーンが検証された場合,BPO は GRPO と RLOO のマッチング計算における絶対点を 3.6--6.1 で改善する。

関連論文リスト

• Contrastive Branch Policy Optimization [16.16893757028268]
  検証可能な報酬(RLVR)による強化学習は、言語モデルが外部ツールとのマルチターンインタラクションを学習することを可能にする。 既存の方法は、固定されたロールアウト予算を割り当て、分岐結果をトークンレベルのクレジットに変換する、という2つの異なる問題を分割する傾向があります。 本稿では,この2つの問題を解消し,それぞれに専用のメカニズムを割り当てる,コントラスト分岐政策最適化(CBPO)を紹介する。
  論文  参考訳（メタデータ） (2026-08-25T09:25:55Z)
• GraphPO: Graph-based Policy Optimization for Reasoning Models [39.010538168884786]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模推論モデルの能力向上のための標準パラダイムとなっている。 ツリーベースの手法は、プレフィックスを共有し、同じプレフィックスから分岐を比較して、きめ細かい信号を提供することによってこの問題に対処する。 提案するグラフPOは,有向非巡回グラフとしてロールアウトを表現した新しいRLフレームワークであり,エッジとしての推論ステップとノードとしての推論パスから要約されたセマンティックステートを持つ。
  論文  参考訳（メタデータ） (2026-06-17T11:37:54Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
  本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。 DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。 6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-05-17T07:14:44Z)
• Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective [22.848847562976633]
  トークンレベルのIS比は、PPOとGRPOが採用しているように、プレフィックス状態の分布ミスマッチを無視してバイアスを導入する。 我々は、累積トークンIS比と、累積対数比の自然な$sqrtt$成長に応じて、対数空間のクリップ境界を拡大する位置適応クリッピングを組み合わせたCTPOを提案する。
  論文  参考訳（メタデータ） (2026-05-08T06:35:02Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Lookahead Tree-Based Rollouts for Enhanced Trajectory-Level Exploration in Reinforcement Learning with Verifiable Rewards [48.321707628011005]
  Lookahead Tree-Based Rollouts (LATR) は、軌道レベルの多様性を明確に促進するために設計された新しいロールアウト戦略である。 LATRはポリシー学習を平均で131%加速し、最終パス@1パフォーマンスを4.2%向上させる。
  論文  参考訳（メタデータ） (2025-10-28T11:12:02Z)
• TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling [65.46347858249295]
  TreePOは自己誘導型ロールアウトアルゴリズムで、シーケンス生成を木構造検索プロセスとして見る。 TreePOは基本的に、探索の多様性を保存または強化しながら、更新毎の計算負担を削減します。
  論文  参考訳（メタデータ） (2025-08-24T16:52:37Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。