論文の概要: PTGPO: Prefix Tree Group Policy Optimization

• arxiv url: http://arxiv.org/abs/2610.14737v1
• Date: Sat, 10 Oct 2026 08:57:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.097692
• Title: PTGPO: Prefix Tree Group Policy Optimization
• Title（参考訳）: PTGPO:プレフィックスツリーグループポリシー最適化
• Abstract要約: 終末報酬が中間行動に対して弱い信用信号を提供するため、長期的対話タスクにおける言語エージェントの訓練は困難である。 本稿では, アンカー状態群内の軌道接尾辞に代えてプレフィックス木群ポリシー最適化(PTGPO)を提案する。 ALFWorld、WebShop、Sokobanのインタラクティブベンチマークの実験では、PTGPOはRLベースラインよりも一貫して改善されており、その有効性を示している。
• 参考スコア（独自算出の注目度）: 12.483893682648272
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Training language agents on long-horizon interactive tasks is challenging because sparse terminal rewards provide weak credit signals for intermediate actions. Existing group-based methods either assign a shared trajectory-level advantage or estimate step-level advantages from state groups, which may conflate the current action with subsequent decisions. We propose Prefix Tree Group Policy Optimization (PTGPO), a critic-free method that constructs prefix trees over trajectory suffixes within anchor-state groups. PTGPO assigns each tree edge a credit given by the difference between its child and parent empirical mean returns, capturing the conditional return change revealed by each additional action. These prefix-tree credits provide fine-grained learning signals without requiring a critic or additional rollouts. Experiments on interactive benchmarks ALFWorld, WebShop and Sokoban show that PTGPO consistently improves over RL baselines, demonstrating its effectiveness.
• Abstract（参考訳）: 長時間の対話的タスクにおける言語エージェントの訓練は、中間動作に弱い信用信号を提供するため、困難である。 既存のグループベースの手法は、共有軌跡レベルの利点を割り当てるか、州グループからのステップレベルの利点を見積もる。 固定状態群内の接尾辞に接する接頭辞木を構成する批判のない手法であるPTGPO(Prefix Tree Group Policy Optimization)を提案する。 PTGPOは、それぞれのツリーエッジに、子と親の経験的平均値の戻り値の違いによって与えられるクレジットを割り当て、追加アクション毎に明らかにされた条件付き戻り値の変化をキャプチャする。 これらのプレフィックスツリークレジットは、批判や追加のロールアウトを必要とせずに、きめ細かい学習信号を提供する。 ALFWorld、WebShop、Sokobanのインタラクティブベンチマークの実験では、PTGPOはRLベースラインよりも一貫して改善されており、その有効性を示している。

関連論文リスト

• PGPO: Potential-Guided Policy Optimization for Multi-Turn Agentic Tasks [41.82007055765541]
  マルチターンエージェントタスクに対する潜在的誘導型ポリシー最適化を提案する。 各ロールアウトグループ内のアンカー状態群戻り統計から経験的状態ポテンシャルを推定する。 その後、隣接する状態間の潜在的な差異から行動上の利点を導き出し、軌道間クレジットの伝播を可能にする。
  論文  参考訳（メタデータ） (2026-09-02T07:44:16Z)
• Contrastive Branch Policy Optimization [16.16893757028268]
  検証可能な報酬(RLVR)による強化学習は、言語モデルが外部ツールとのマルチターンインタラクションを学習することを可能にする。 既存の方法は、固定されたロールアウト予算を割り当て、分岐結果をトークンレベルのクレジットに変換する、という2つの異なる問題を分割する傾向があります。 本稿では,この2つの問題を解消し,それぞれに専用のメカニズムを割り当てる,コントラスト分岐政策最適化(CBPO)を紹介する。
  論文  参考訳（メタデータ） (2026-08-25T09:25:55Z)
• RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts [84.20747697259326]
  グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。 我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。 我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
  論文  参考訳（メタデータ） (2026-07-20T19:40:25Z)
• Progress- and Reliability-Oriented Group Policy Optimization for Agentic Reinforcement Learning [5.952158244195666]
  本稿では,文脈整合性段階学習のための学習批判のないProGPOを提案する。 我々は,Qwen2.5-1.5B-Instruct を用いて,ALFWorld と WebShop という2つの困難なエージェントタスクにおける ProGPO の評価を行った。
  論文  参考訳（メタデータ） (2026-07-05T11:41:46Z)
• Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
  Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。 G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
  論文  参考訳（メタデータ） (2026-06-22T08:12:47Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
  エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。 エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
  論文  参考訳（メタデータ） (2026-01-11T14:07:30Z)
• TreeAdv: Tree-Structured Advantage Redistribution for Group-Based RL [7.149629501486536]
  グループベースの目的を持った強化学習は、複雑な推論タスクで大きな言語モデルを整列するための共通のフレームワークである。 標準GRPOは各ロールアウト軌跡を独立フラットシーケンスとして扱い、全てのトークンに対して単一のシーケンスレベルの利点を割り当てる。 TreeAdvを導入し、グループロールアウトのツリー構造を探索と有利な割り当ての両方に明示する。
  論文  参考訳（メタデータ） (2026-01-07T08:42:14Z)
• Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
  VGPOは時間次元とグループ次元の両方で値の推定を再定義する。 スパース端末の報酬を密度の高いプロセス認識値推定に変換する。 標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
  論文  参考訳（メタデータ） (2025-12-13T16:31:26Z)
• Tree Search for LLM Agent Reinforcement Learning [23.7084695563981]
  Tree-based Group Relative Policy Optimization (Tree-GRPO) は、木探索に基づくグループ化エージェントRL法である。 共通のプレフィックスを共有することで、ツリー検索サンプリングは、達成可能なロールアウトの数を増やす。 木レベルでの相対的政策最適化の目的は、ステップレベルの直接選好学習と同等であることを示す。
  論文  参考訳（メタデータ） (2025-09-25T14:37:09Z)
• TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling [65.46347858249295]
  TreePOは自己誘導型ロールアウトアルゴリズムで、シーケンス生成を木構造検索プロセスとして見る。 TreePOは基本的に、探索の多様性を保存または強化しながら、更新毎の計算負担を削減します。
  論文  参考訳（メタデータ） (2025-08-24T16:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。