論文の概要: Co-Evolving Acting and Forecasting for Language Agents

• arxiv url: http://arxiv.org/abs/2610.20597v2
• Date: Thu, 15 Oct 2026 17:52:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.009538
• Title: Co-Evolving Acting and Forecasting for Language Agents
• Title（参考訳）: 言語エージェントの共進化と予測
• Abstract要約: 訓練用言語エージェントは、長期ロールアウトのコストが高いためボトルネックとなる。 我々は,第3のマルチステップアクションターゲットを付加したCoPEを提案する。
• 参考スコア（独自算出の注目度）: 33.49581417406304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training language agents is bottlenecked by the high cost of long-horizon rollouts, yet standard agentic reinforcement learning (RL) learns only from a terminal scalar reward, leaving the supervision in intermediate steps largely unused. Prior work exploits this supervision through value targets that estimate per-step success probabilities or observation targets that fit environment response. Both are hard to construct well: (1) value targets come from the same single scalar signal for each step in the trajectory, and (2) observation targets, such as web pages and terminal logs, are long and noisy and reach only one step ahead. We propose CoPE, which adds a third kind of multi-step action targets. On successful on-policy trajectories, CoPE trains the policy backbone to generate the action sequences that follows each history. Each action is also supervised when forecast from the preceding histories, forming a temporal ensemble that the shared backbone absorbs during training, and this enables acting and forecasting to co-evolve. The policy still acts one step at a time at inference, with no overhead. Across five benchmarks (ALFWorld, ScienceWorld, WebShop, $τ^2$-bench, and AppWorld), CoPE (1) achieves stronger aggregate performance than GRPO and RL baselines with predictive auxiliary targets across simulated environments, while improving overall performance on both realistic applications; (2) delivers up to $1.9\times$ and $2.0\times$ higher sample efficiency than ECHO and GRPO, respectively, on ScienceWorld; and (3) achieves these gains with a single policy backbone, without additional models, separate pretraining, or inference overhead. The codebase is available at https://github.com/ulab-uiuc/CoPE.
• Abstract（参考訳）: 訓練用言語エージェントは、高コストの長期ロールアウトによってボトルネックを受けるが、標準的なエージェント強化学習(RL)は、終端スカラー報酬からのみ学習し、中間ステップにおける監督はほとんど使われていない。 以前の作業では、この監視を、ステップごとの成功確率や環境応答に適合する観測目標を見積もる価値目標を通じて活用しています。 1) 軌道上の各ステップごとに同一の単一スカラー信号から値ターゲットが得られ、(2) ウェブページや端末ログのような観測ターゲットが長くうるさいので、一歩先までしか届かない。 我々は,第3のマルチステップアクションターゲットを付加したCoPEを提案する。 政治上の軌道で成功すると、CoPEはポリシーバックボーンをトレーニングし、それぞれの履歴に従うアクションシーケンスを生成する。 それぞれの行動は、前回の履歴から予測されたときにも監督され、共有されたバックボーンがトレーニング中に吸収する時間的アンサンブルを形成し、それによって行動と予測が共進化する。 ポリシーは、オーバーヘッドを伴わずに、推論時に1ステップずつ動作します。 5つのベンチマーク(ALFWorld、ScienceWorld、WebShop、$τ^2$-bench、AppWorld)にまたがって、CoPE (1)はGRPOとRLベースラインよりも強力な集計性能を達成し、シミュレーション環境全体にわたって予測補助目標を達成し、また、両方の現実的なアプリケーションにおける全体的なパフォーマンスを改善している。 コードベースはhttps://github.com/ulab-uiuc/CoPEで公開されている。

関連論文リスト

• PAVE: Predictive Alignment and Value-Guided Evolution for World-Action Policies [17.87859739145508]
  直接視覚-言語-アクションポリシーは、継続的なロボット動作を効率的に生成するが、標準的な行動クローンは2つの相補的なギャップを残している。 結果に依存しない予測学習と結果認識型政策改善を組み合わせた,直接的な世界行動政策である方法を紹介する。
  論文  参考訳（メタデータ） (2026-08-31T07:36:11Z)
• Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
  Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。 G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
  論文  参考訳（メタデータ） (2026-06-22T08:12:47Z)
• 3SPO: State-Score-Supervised Policy Optimization for LLM Agents [25.01222941080024]
  動的状態スコア監視による後段ポリシー最適化を行う新しいRLアルゴリズムである textbf State-Score-Supervised Policy Optimization (3SPO) を提案する。 ALFWorld と WebShop の実験では、Qwen2.5-1.5B/7B-Instruct で 3SPO は ALFWorld で$+22.6%、WebShop で$+15.6$ で GRPO を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-08T14:26:05Z)
• ProgressVLA: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation [57.07494675832939]
  ロボット操作のための既存の視覚言語アクション(VLA)モデルは、進歩意識を欠いている。 本研究では,textbf vla という新しいモデルを提案し,タスク進捗の推定と統合について検討する。 CALVINとLIBEROベンチマークの実験は、実世界のロボットの展開とともに、成功率の大幅な改善を一貫して示している。
  論文  参考訳（メタデータ） (2026-03-29T12:38:11Z)
• WebAnchor: Anchoring Agent Planning to Stabilize Long-Horizon Web Reasoning [82.12501258760814]
  大規模言語モデル(LLM)ベースのエージェントは、Web情報検索において強力な能力を示している。 Plan anchorは、長期にわたるWeb推論タスクにおいて、最初の推論ステップが下流の動作に不均等に影響を与えている場所です。 計画と実行を分離する2段階のRLフレームワークであるAnchor-GRPOを提案する。
  論文  参考訳（メタデータ） (2026-01-06T16:36:40Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Reachability Weighted Offline Goal-conditioned Resampling [15.098228846694088]
  オフライン目標条件強化学習(RL)は、多くの潜在的な目標が同じ状態と行動空間を共有する固定データセットに依存している。 一般化可能な目標条件付きポリシーを学習するには、Qラーニングのような動的プログラミング手法を用いてゴールと状態-アクションペアを一様にサンプリングすることが一般的である。 目標達成を可能にする遷移を優先するために、Reachability Weighted Smpling (RWS)を提案する。
  論文  参考訳（メタデータ） (2025-06-03T07:55:57Z)
• SPA-RL: Reinforcing LLM Agents via Stepwise Progress Attribution [9.181156720071547]
  強化学習は、複雑な目標志向のタスクを扱うためのトレーニングエージェントの約束である。 フィードバック信号は通常、タスク全体が完了した後でのみ利用可能である。 我々は、最終報酬を段階的な貢献に分解するステップワイドプログレス属性を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。