論文の概要: BLPO: Beyond-Local Policy Optimization for Long-Horizon LLM Agents

• arxiv url: http://arxiv.org/abs/2611.03005v1
• Date: Mon, 02 Nov 2026 12:10:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 13:58:13.824615
• Title: BLPO: Beyond-Local Policy Optimization for Long-Horizon LLM Agents
• Title（参考訳）: BLPO:LLMエージェントの局所的最適化
• Abstract要約: ロングホライゾンタスクは、相互依存的な動作を調整するために、大きな言語モデル(LLM)エージェントを必要とする。 我々は,タスク間で共有された経験とトレーニング更新からタスク・プログレス・アドバンテージを推定する,Beyond-Local Policy Optimization (BLPO)を提案する。
• 参考スコア（独自算出の注目度）: 27.740376257192153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon tasks require large language model (LLM) agents to coordinate interdependent actions, a capability central to automating complex workflows. Stepwise group-based reinforcement learning provides finer credit than trajectory-level supervision, but reliable comparisons must account for differences in interaction history. Enforcing this consistency within the limited rollouts of each task can leave insufficient support for estimating action preferences. We propose Beyond-Local Policy Optimization (BLPO), which estimates task-progress advantages from experience shared across tasks and training updates. We summarize trajectory prefixes into task-progress states and abstract actions by their function, allowing corresponding decisions from different tasks to contribute to shared estimates. To control bias and noise from heterogeneous tasks, we accumulate context-relative returns in a global memory with balanced aggregation and reliability weighting. These global advantages complement local comparisons over normalized actions and trajectory-level credit without a learned critic or additional rollouts. Experiments on ALFWorld and WebShop with 1.5B and 7B policies show improved task success over the evaluated baselines under matched training budgets. Further analyses show faster learning and shorter trajectories with little computational overhead.
• Abstract（参考訳）: ロングホライゾンタスクは、複雑なワークフローの自動化の中心となる、相互依存的なアクションを調整するために、大きな言語モデル(LLM)エージェントを必要とする。 段階的にグループベースの強化学習は、軌道レベルの監督よりも詳細な信用を提供するが、信頼できる比較は相互作用の歴史の違いを考慮しなければならない。 各タスクの限定的なロールアウト内で、この一貫性を強制することは、アクションの好みを見積もる上で、不十分なサポートを残すことができる。 我々は,タスク間で共有された経験とトレーニング更新からタスク・プログレス・アドバンテージを推定する,Beyond-Local Policy Optimization (BLPO)を提案する。 本研究は,各タスクからの対応決定を共有推定に寄与させるため,トラジェクトリプレフィックスをタスクプログレス状態とそれらの関数による抽象動作に要約する。 不均一なタスクからバイアスやノイズを制御するため、バランスの取れた集約と信頼性の重み付けにより、コンテキスト相対的なリターンをグローバルメモリに蓄積する。 これらのグローバルな優位性は、正規化された行動と軌道レベルの信用に対する局所的な比較を、学識のある批評家や追加のロールアウトなしで補完する。 ALFWorldとWebShopの1.5Bと7Bポリシーによる実験は、マッチしたトレーニング予算の下で評価されたベースラインよりもタスクの成功率が向上したことを示している。 さらに解析すると、より高速な学習と、計算オーバーヘッドの少ない短い軌道が示される。

関連論文リスト

• PAC: Progress-Augmented Advantage Curriculum for Multi-Task Reinforcement Learning of LLMs [7.858242304760954]
  LLMのマルチタスク強化学習のための進歩的アドバンテージカリキュラムを提案する。 これは、タスクが引き起こせるポリシー更新の規模を計測する利点に基づく学習性と、それらの更新がタスクのパフォーマンスを改善したかどうかを示す最近の報酬ゲインの2つのタスクレベル信号を組み合わせる。
  論文  参考訳（メタデータ） (2026-08-31T09:59:07Z)
• EASy: Towards Efficient LLM-Based Agentic System [54.10819421625103]
  強化学習によるタスク性能と計算効率を協調的に最適化する訓練可能なエージェントフレームワークであるEASyを提案する。 EASyはLLMベースのオーケストレータに異種エグゼキュータの能力とコストプロファイルを明確に把握し、パフォーマンスのみのルーティング以上のコンテキスト依存的な調整を可能にする。 さらに、複雑なタスクを管理可能なマイルストーンに分解し、依存性を意識した実行グラフを構築し、適切なエグゼキュータを割り当て、その後の決定を中間的な結果に適用しながら、独立したステップを並列化するマイルストーン計画実行ワークフローも導入されている。
  論文  参考訳（メタデータ） (2026-08-05T08:50:36Z)
• SWE-Shepherd: Advancing PRMs for Reinforcing Code Agents [0.31034395048547575]
  既存のアプローチは、コード編集、ファイルナビゲーション、テスト実行などのアクションを選択するための静的なプロンプト戦略や手作業に依存している。 本稿では,プロセス・リワード・モデル(Process Reward Models,PRM)を導入するフレームワークであるSWE-Shepherdを提案する。 SWE-Bench Verifiedの実験では、インタラクション効率とアクション品質の改善に加えて、中間報酬と最終タスク成功の整合性の課題も強調されている。
  論文  参考訳（メタデータ） (2026-04-12T06:51:47Z)
• HiPER: Hierarchical Reinforcement Learning with Explicit Credit Assignment for Large Language Model Agents [36.77027704958893]
  HiPERは階層的計画実行(Hierarchical Plan-Execute RL)フレームワークで、高レベルの計画と低レベルの実行を分離する。 HiPER は ALFWorld で97.4%、Qwen2.5-7B-Instruct で WebShop で83.3% を達成している。
  論文  参考訳（メタデータ） (2026-02-18T03:31:34Z)
• BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning [82.925106913459]
  強化微調整(Reinforcement Finetuning, RFT)は、大規模言語モデル(LLM)を人間の嗜好と整合させ、推論を強化するための重要な手法である。 RFT強化微調整におけるベイズオンラインタスク選択のための統合フレームワークBOTSを紹介する。
  論文  参考訳（メタデータ） (2025-10-30T11:15:23Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• CoBa: Convergence Balancer for Multitask Finetuning of Large Language Models [23.50705152648991]
  マルチタスク学習(MTL)は,大規模言語モデル(LLM)の微調整に有効である LLM の既存の MTL 戦略は、計算集約的であるか、同時タスク収束の確保に失敗したかのいずれかによって、しばしば不足する。 本稿では,タスク収束バランスを最小限の計算オーバーヘッドで効果的に管理する新しいMTL手法であるCoBaを提案する。
  論文  参考訳（メタデータ） (2024-10-09T10:20:32Z)
• Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks [56.63855534940827]
  本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。 理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。 本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
  論文  参考訳（メタデータ） (2022-07-19T04:58:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。