論文の概要: Milestone-Guided Policy Learning for Long-Horizon Language Agents

• arxiv url: http://arxiv.org/abs/2605.06078v1
• Date: Thu, 07 May 2026 12:00:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.745277
• Title: Milestone-Guided Policy Learning for Long-Horizon Language Agents
• Title（参考訳）: 長軸言語エージェントのためのマイルストーン誘導型政策学習
• Authors: Zixuan Wang, Yuchen Yan, Hongxing Li, Teng Pan, Dingming Li, Ruiqing Zhang, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen,
• Abstract要約: 我々は,長軸言語エージェントを訓練するためのマイルストーン誘導型政策学習フレームワークBEACONを紹介する。 ALFWorld、WebShop、ScienceWorldでは、BEACONはGRPOとGiGPOを一貫して上回っている。 これらの結果から,長期言語エージェントの訓練に有効なパラダイムとして,マイルストーン・アチョンド・クレジット・アサインが確立された。
• 参考スコア（独自算出の注目度）: 67.87164829944238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While long-horizon agentic tasks require language agents to perform dozens of sequential decisions, training such agents with reinforcement learning remains challenging. We identify two root causes: credit misattribution, where correct early actions are penalized due to terminal failures, and sample inefficiency, where scarce successful trajectories result in near-total loss of learning signal. We introduce a milestone-guided policy learning framework, BEACON, that leverages the compositional structure of long-horizon tasks to ensure precise credit assignment. BEACON partitions trajectories at milestone boundaries, applies temporal reward shaping within segments to credit partial progress, and estimates advantages at dual scales to prevent distant failures from corrupting the evaluation of local actions. On ALFWorld, WebShop, and ScienceWorld, BEACON consistently outperforms GRPO and GiGPO. Notably, on long-horizon ALFWorld tasks, BEACON achieves 92.9% success rate, nearly doubling GRPO's 53.5%, while improving effective sample utilization from 23.7% to 82.0%. These results establish milestone-anchored credit assignment as an effective paradigm for training long-horizon language agents. Code is available at https://github.com/ZJU-REAL/BEACON.
• Abstract（参考訳）: 長期のエージェントタスクでは、言語エージェントが数十のシーケンシャルな決定を行う必要があるが、強化学習によるそのようなエージェントの訓練は依然として困難である。 本研究の根本原因は, 終末障害による適切な早期行動が罰せられる信用誤帰と, 未成功軌道が学習信号のほぼ全失に繋がるサンプル不効率の2つである。 我々は,長期的タスクの構成構造を利用して,正確な信用割当を保証する,マイルストーン誘導型政策学習フレームワークBEACONを導入する。 BEACONはマイルストーン境界における軌道を分割し、セグメント内の時間的報酬形成を信用部分的な進展に適用し、遠方の障害が局所的な行動の評価を損なうのを防ぐために、二重スケールでの利点を推定する。 ALFWorld、WebShop、ScienceWorldでは、BEACONはGRPOとGiGPOを一貫して上回っている。 特に、長期のALFWorldタスクでは、BEACONは92.9%の成功率を記録し、GRPOの53.5%をほぼ倍増し、23.7%から82.0%の効果的なサンプル利用率向上を実現している。 これらの結果から,長期言語エージェントの訓練に有効なパラダイムとして,マイルストーン・アチョンド・クレジット・アサインが確立された。 コードはhttps://github.com/ZJU-REAL/BEACONで入手できる。

関連論文リスト

• Odysseys: Benchmarking Web Agents on Realistic Long Horizon Tasks [67.44219836008348]
  我々はOdysseysについて紹介する。Odysseysは、ライブインターネット上で評価された実世界のブラウジングセッションから得られた200のロングホライゾンWebタスクのベンチマークである。 その結果,2進パス/フェイル評価は長距離設定では不十分であり,各Odysseysタスクに平均6.1グレードのルーリックをアノテートするルーリックに基づく評価が導入された。 最強のモデルは44.5%の成功率に達しており、将来の改善の余地は十分にある。
  論文  参考訳（メタデータ） (2026-04-27T20:05:41Z)
• The Long-Horizon Task Mirage? Diagnosing Where and Why Agentic Systems Break [69.91172974854422]
  HORIZONは、大規模言語モデル(LLM)エージェントの長期障害挙動を解析するためのクロスドメイン診断ベンチマークである。 我々は,複数のモデルファミリーのSOTA(State-of-the-art)エージェントを評価し,水平方向依存劣化パターンについて検討した。 本研究は, 長期薬物障害の系統的, クロスドメイン解析への最初の方法論的ステップを提供する。
  論文  参考訳（メタデータ） (2026-04-13T19:11:42Z)
• A Subgoal-driven Framework for Improving Long-Horizon LLM Agents [12.411629679174183]
  大規模言語モデル(LLM)ベースのエージェントは、デジタル環境のための強力な自律型コントローラとして登場した。 我々は、密度の高いマイルストーンベースの報酬信号を使用するRLトレーニングフレームワークであるMiRAを紹介する。 以上の結果から,明示的な推論時間計画とマイルストーンに基づく報酬を組み合わせることで,エージェントの長期的機能を大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2026-03-20T06:32:16Z)
• Hindsight Credit Assignment for Long-Horizon LLM Agents [25.156923297108836]
  HCAPOは,隠れた信用代入をLarge Language Model (LLM)エージェントに統合する最初のフレームワークである。 WebShopやALFWorldを含む3つのベンチマークによる評価は、HCAPOが最先端のRLメソッドを一貫して上回っていることを示している。 これらの結果から, HCAPOは探索効率を著しく向上し, 簡潔な意思決定を促進し, 複雑な長期タスクにおけるスケーラビリティを確保することが示唆された。
  論文  参考訳（メタデータ） (2026-03-07T06:05:20Z)
• Harmonizing Dense and Sparse Signals in Multi-turn RL: Dual-Horizon Credit Assignment for Industrial Sales Agents [29.076822653598885]
  時間スケールで最適化を阻害するフレームワークを提案する。 高忠実度ユーザシミュレータによる実験では、DuCAは最先端のGRPOベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-03-02T05:44:50Z)
• LongCLI-Bench: A Preliminary Benchmark and Study for Long-horizon Agentic Programming in Command-Line Interfaces [65.11019654023978]
  LongCLI-Benchは、長期にわたる現実的なタスクにまたがるエージェント能力を評価するために設計されたベンチマークである。 私たちは、1000以上のコンピュータサイエンスの課題と現実世界のタスクから、20の高品質で長い水平タスクをキュレートしました。 実験によると、最先端のエージェントでさえLongCLI-Benchの20%未満のパスレートを達成する。
  論文  参考訳（メタデータ） (2026-02-15T23:12:57Z)
• Intrinsic Credit Assignment for Long Horizon Interaction [20.67253382614053]
  Belief-RLは、強化学習における純粋に結果に基づく報酬を一貫して上回る情報探索能力を教える。 我々の研究は、本質的な信念の報酬を通じて中間行動にクレジットを割り当てることによって、長期にわたる不確実性をナビゲートするためのスケーラブルなトレーニング戦略を導入している。
  論文  参考訳（メタデータ） (2026-02-12T19:00:54Z)
• WebAnchor: Anchoring Agent Planning to Stabilize Long-Horizon Web Reasoning [82.12501258760814]
  大規模言語モデル(LLM)ベースのエージェントは、Web情報検索において強力な能力を示している。 Plan anchorは、長期にわたるWeb推論タスクにおいて、最初の推論ステップが下流の動作に不均等に影響を与えている場所です。 計画と実行を分離する2段階のRLフレームワークであるAnchor-GRPOを提案する。
  論文  参考訳（メタデータ） (2026-01-06T16:36:40Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning [5.274804664403783]
  SSE(Strict Subgoal Execution)は、グラフベースの階層的RLフレームワークで、単一ステップのサブゴアル到達性を強制する。 SSE は既存の目標条件付き RL および階層型 RL アプローチを効率と成功率の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-26T06:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。