論文の概要: PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs

• arxiv url: http://arxiv.org/abs/2608.17289v1
• Date: Tue, 18 Aug 2026 02:39:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.187269
• Title: PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs
• Title（参考訳）: PlanPO:マルチターンエージェントLLMのためのグループプランニング-アウェアポリシー最適化
• Abstract要約: グループプランニング対応政策最適化(グループプランニング対応政策最適化、英: Group Planning-Aware Policy Optimization、PlanPO)は、一般化可能な計画能力を学ぶための単純かつ効果的なRL手法である。 PlanPOは、ALFWorld、WebShop、SciWorldといった挑戦的なマルチターンベンチマークにおいて、GRPOを平均27.2%改善している。
• 参考スコア（独自算出の注目度）: 15.29379131185398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group-relative policy optimization has emerged as a key paradigm for training agentic large language models (LLMs) on multi-turn interactive tasks. However, most existing variants fail to distinguish advantages among successful trajectories even when these trajectories differ substantially in their interaction efficiency. For instance, circuitous successes are often assigned the identical outcome reward, causing advantage collapse and severe performance bottlenecks. To this end, we propose Group Planning-aware Policy Optimization (PlanPO), a simple yet effective RL method for learning generalizable planning abilities beyond task-specific high-quality behavior patterns. Specifically, PlanPO introduces coarse-to-fine advantage signals, which capture the relative differences in trajectory-level lengths and turn-level response lengths conditioned on successful trajectories sampled for the same task. Within the group-relative optimization structure, this enables agents to actively learn generalizable and deliberate behaviors spanning interaction planning and textual generation from high-quality rollouts, without degenerating into vanilla length minimization. Experimentally, PlanPO improves over GRPO by 27.2\% on average across the challenging multi-turn benchmarks ALFWorld, WebShop, and SciWorld, outperforming recent powerful baselines while incurring negligible additional training cost.
• Abstract（参考訳）: エージェント型大規模言語モデル(LLM)を多ターン対話型タスクで訓練するための重要なパラダイムとして,グループ相対ポリシー最適化が登場した。 しかし、既存のほとんどの変種は、これらの軌道が相互作用効率において著しく異なる場合であっても、成功した軌道間の利点を区別することができない。 例えば、回路的な成功はしばしば同じ結果報酬を割り当てられ、有利な崩壊と厳しいパフォーマンスボトルネックを引き起こします。 そこで本研究では,タスク固有の高品質な行動パターンを超えた,汎用的な計画能力を学習するための,単純かつ効果的なRL手法であるグループプランニング対応政策最適化(PlanPO)を提案する。 具体的には、PlanPOは、軌跡レベルの長さと、同じタスクのためにサンプリングされた軌道上でのターンレベル応答長の相対的な差をキャプチャする粗大な利点信号を導入している。 グループ相対最適化構造において、エージェントはバニラ長最小化に縮退することなく、対話計画と高品質ロールアウトからテキスト生成にまたがる汎用的で意図的な振る舞いを積極的に学習することができる。 実験的に、PlanPOは、挑戦的なマルチターンベンチマークであるALFWorld、WebShop、SciWorldでGRPOを平均27.2倍改善し、最近の強力なベースラインを上回り、無視できない追加トレーニングコストを発生させる。

関連論文リスト

• Towards Pareto-Optimal Tool-Integrated Agents with Pareto Ranking Policy Optimization [54.855135506924775]
  ツールを用いた大規模言語モデル(LLM)を競合する目的の下で整列するための2段階多目的最適化フレームワークを提案する。 この設計は、複数の矛盾する目的に対してきめ細かいアクションレベルの最適化を可能にする。
  論文  参考訳（メタデータ） (2026-06-15T01:58:07Z)
• GAGPO: Generalized Advantage Grouped Policy Optimization [13.085463559931156]
  そこで我々は,段階的,段階的な時間的信用割当のための批判のない強化学習手法を提案する。 ALFWorldとWebShopの実験によると、GAGPOは強力な強化学習ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-05-13T09:10:03Z)
• HAD: Combining Hierarchical Diffusion with Metric-Decoupled RL for End-to-End Driving [51.268878540511054]
  我々は階層的拡散政策を備えたエンドツーエンドの計画フレームワークであるHADを提案する。 我々は,NAVSIMとHUGSIMの両方でHADが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-04-04T04:12:47Z)
• HiPER: Hierarchical Reinforcement Learning with Explicit Credit Assignment for Large Language Model Agents [36.77027704958893]
  HiPERは階層的計画実行(Hierarchical Plan-Execute RL)フレームワークで、高レベルの計画と低レベルの実行を分離する。 HiPER は ALFWorld で97.4%、Qwen2.5-7B-Instruct で WebShop で83.3% を達成している。
  論文  参考訳（メタデータ） (2026-02-18T03:31:34Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• SALT: Step-level Advantage Assignment for Long-horizon Agents via Trajectory Graph [15.303565124424635]
  大きな言語モデル(LLM)は、言語エージェントがシングルターンタスクでエキサイティングな機能を示す。 複雑な多段階・長期のタスクへの応用は依然として困難である。 本稿では,結果報酬のみから派生した,よりきめ細かい有利な代入を提供するフレームワークであるSALTを提案する。
  論文  参考訳（メタデータ） (2025-10-22T20:50:24Z)
• Solving the Granularity Mismatch: Hierarchical Preference Learning for Long-Horizon LLM Agents [56.625878022978945]
  自律的なエージェントとしての大規模言語モデル(LLM)は、複雑で長期にわたる問題の解決にますます取り組まれている。 直接優先度最適化(DPO)は、正確なクレジット代入には大きすぎる信号を提供するが、ステップレベルのDPOは、しばしば、複数のステップの振る舞いの値をキャプチャするには、筋が通らない。 階層的選好学習(HPL)は、複数の相乗的粒度における選好信号を活用することで、LLMエージェントを最適化する階層的フレームワークである。
  論文  参考訳（メタデータ） (2025-09-26T08:43:39Z)
• PLAN-TUNING: Post-Training Language Models to Learn Step-by-Step Planning for Complex Problem Solving [66.42260489147617]
  大規模言語モデルから合成タスク分解を蒸留するフレームワークであるPLAN-TUNINGを紹介する。 複雑な推論を改善するために、教師付きおよび強化学習の目的を通したプランチューン細管モデル。 本分析は,計画軌道が複雑な推論能力をいかに改善するかを示す。
  論文  参考訳（メタデータ） (2025-07-10T07:30:44Z)
• TGRPO :Fine-tuning Vision-Language-Action Model via Trajectory-wise Group Relative Policy Optimization [12.061547251822326]
  Trajectory-based Group Relative Policy Optimization (TGRPO)は、Visual-Language-Action(VLA)モデルのためのオンラインRLベースのトレーニングフレームワークである。 TGRPOの平均成功率は80.7%で、これはスーパーバイザードファインチューニング(SFT)よりも4.2%高く、他の代表的RLベースのポストトレーニング手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-06-10T04:27:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。