論文の概要: FOCUS: Active Critic Learning for Long-Horizon Language Model Agents

• arxiv url: http://arxiv.org/abs/2610.35801v1
• Date: Mon, 26 Oct 2026 17:34:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.128677
• Title: FOCUS: Active Critic Learning for Long-Horizon Language Model Agents
• Title（参考訳）: FOCUS:長期言語モデルエージェントのためのアクティブな批判学習
• Abstract要約: FOCUSは、選択的分岐を用いて、批評家ネットワークがその価値推定器を学習するのを助けるRL手法である。 FOCUSは、モジュール型コンテキスト管理インタフェースを通じて、長距離エージェント強化学習をサポートする。 以上の結果から,FOCUSはGRPOとVinePPOよりも高い性能を示した。
• 参考スコア（独自算出の注目度）: 50.841006231659826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse outcome rewards make it difficult for long-horizon language-model agents to assign credit to earlier actions. Learned critics provide value estimates for intermediate states, but these estimates can be inaccurate, while estimating intermediate values with repetitive continuation samples from points within a trajectory incurs substantial costs. To mitigate these issues, we introduce FOCUS, an RL method that uses selective branching to help the critic network learn its value estimator. The rollout controller facilitates active learning for the critic by sampling continuations from states that are expected to most reduce the critic's estimation error. These refined value estimates then score the segment between consecutive states with a TD($λ$) advantage, while the sampled evidence supplies training targets for the critic. FOCUS supports long-horizon agentic reinforcement learning through a modular context-management interface that decouples context management from rollout allocation. Our experiments show that using compaction-induced segment boundaries for value estimation and credit assignment, FOCUS outperforms GRPO and VinePPO with matched per-step generation budgets on legal reasoning, deep search, and code localization benchmarks, improving held-out accuracy at Qwen3.5-9B scale by 7.2 points over the strongest baseline on BrowseComp-Plus (55.4 vs. 48.2) and by 4.1 points on DeonticBench (56.5 vs. 52.4).
• Abstract（参考訳）: 粗末な結果報酬は、長期の言語モデルエージェントが以前のアクションにクレジットを割り当てるのを難しくする。 学習された批評家は中間状態の値推定を提供するが、これらの推定は不正確であり、軌跡内の点から繰り返し連続するサンプルで中間値を推定することはかなりのコストを発生させる。 これらの問題を緩和するために、評価ネットワークが価値推定器を学習するのを助けるために選択的分岐を用いた RL 手法である FOCUS を導入する。 ロールアウトコントローラは、批評家の推定誤差を最も少なくすることが期待される状態からの継続をサンプリングすることにより、批評家の積極的な学習を促進する。 これらの洗練された値の推定値は、TD($λ$)の利点で連続状態間のセグメントをスコアし、サンプルされた証拠は、批評家にトレーニングターゲットを提供する。 FOCUSは、コンテキスト管理をロールアウトアロケーションから切り離すモジュール型のコンテキスト管理インターフェースを通じて、長期のエージェント強化学習をサポートする。 以上の結果から,FOCUS は GRPO と VinePPO を法定推論,深層探索,コードローカライゼーションのベンチマークで比較し,BrowseComp-Plus (55.4 vs. 48.2) および DeonticBench (56.5 vs. 52.4) 上の最強ベースライン上で,Qwen3.5-9B スケールのホールトアウト精度を7.2ポイント向上した。

関連論文リスト

• Rethinking Verification in Agent Harnesses [54.00276643533363]
  エージェントハーネスは、大きな言語モデルをツールを通じて動作させ、結果を観察し、タスク目標に向かって反復的に作業することを可能にする。 テストタイムスケーリングの軸として,いつ介入すべきか,誰が作業をチェックすべきか,チェックがどのようにリビジョンにつながるのかを調べることで,検証について検討する。 私たちのフレームワークは、初期命令、ミッドターンリマインダー、完了ゲート、独立レビューの4つのレイヤにまたがっています。
  論文  参考訳（メタデータ） (2026-10-25T21:17:26Z)
• From Outcomes to Steps: Reliable Success-Aware Critic Learning for Long-Horizon Language Agents [55.652737162928]
  ロングホライズン言語エージェントの強化学習では、中間動作が最終的なタスク成功の可能性が高いか低いかを特定する必要がある。 SCALE(アクター・クリティカル・フレームワーク)は,従来のリターン推定を,最終的なタスク成功の明示的な予測で強化する。
  論文  参考訳（メタデータ） (2026-10-20T04:40:33Z)
• ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
  検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
  論文  参考訳（メタデータ） (2026-10-17T07:19:05Z)
• RELACE: retrospective likelihood-based action credit estimation for long-horizon language agents [1.8552770604791606]
  RELACEは,反省的行動評価と状態条件の利点推定を統合した,批判のないフレームワークである。 Qwen2.5-1.5B-InstructとQwen2.5-7B-InstructによるALFWorldとWebShopの実験は、GRPO、GiGPO、HCAPOよりも大幅に改善された。
  論文  参考訳（メタデータ） (2026-10-05T20:19:04Z)
• Privy to the Foil: Recasting Value Estimation with a Self-Privileged Critic for RLVR [18.523561366846778]
  $PPOは、価値推定のための自己特権のアクター批判フレームワークである。 $PPOは、一定のマージンで、常に価値推定品質を改善します。
  論文  参考訳（メタデータ） (2026-09-29T15:32:21Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• ODRPO: Ordinal Decompositions of Discrete Rewards for Robust Policy Optimization [14.900223489465683]
  大規模言語モデル(LLM)は、AIフィードバック(RLAIF)から強化学習(Reinforcement Learning)を利用する。 これらのドメインは、細粒度で多層的な報酬を提供するために、しばしばベースオートレーダに依存している。 これは、離散的な報酬を順序付きバイナリインジケータのシーケンスに分解することで、評価ノイズを構造的に分離するフレームワークです。
  論文  参考訳（メタデータ） (2026-05-12T19:17:14Z)
• $V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts [81.48669089692189]
  一般値モデル(例えば$V_0.5$)は、コンテキスト内のモデル機能を明示的にエンコードすることで、事前訓練された値推定を実現する。 本稿では,このような値モデルにより予測されるベースラインと,スパースロールアウトから導出される経験的平均とを適応的に融合する$V_0.5$を提案する。 V_0.5$はGRPOとDAPOを大きく上回り、より高速な収束と約10%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-03-11T14:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。