論文の概要: From Outcomes to Steps: Reliable Success-Aware Critic Learning for Long-Horizon Language Agents
- arxiv url: http://arxiv.org/abs/2610.27623v1
- Date: Tue, 20 Oct 2026 04:40:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.636774
- Title: From Outcomes to Steps: Reliable Success-Aware Critic Learning for Long-Horizon Language Agents
- Title（参考訳）: 成果からステップへ:長期言語エージェントに対する信頼性の高い成功意識の批判的学習
- Abstract要約: ロングホライズン言語エージェントの強化学習では、中間動作が最終的なタスク成功の可能性が高いか低いかを特定する必要がある。
SCALE(アクター・クリティカル・フレームワーク)は,従来のリターン推定を,最終的なタスク成功の明示的な予測で強化する。
- 参考スコア（独自算出の注目度）: 55.652737162928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning for long-horizon language agents requires identifying whether intermediate actions make eventual task success more or less likely when supervision is available only at trajectory level. The main difficulty is that a critic with aggregate return-prediction accuracy may still fail to resolve the local value differences needed to assign credit to actions, especially under sparse feedback and function approximation. Conventional critics estimate future return, but policy improvement also depends on knowing whether each intermediate decision makes task success more or less likely. We introduce SCALE, an actor-critic framework that augments conventional return estimation with explicit prediction of eventual task success. At each interaction prefix, the critic predicts a return value and a Success Value, defined as the probability that the task will eventually be completed from that prefix. SCALE converts changes in Success Value into multi-step action credit through Success-GAE and modulates its contribution according to the estimated reliability of the predictor, while retaining the token-level PPO objective. Across five agent benchmarks and three model backbones, SCALE improves task performance over the compared RL baselines in most settings, with gains of up to 4.1 percentage points in success rate. Separate critic-learning analyses show that SCALE also improves critic estimation and training stability.
- Abstract（参考訳）: 長期的言語エージェントの強化学習では、中間動作が最終的なタスク成功を確実にするかどうかを、軌跡レベルでのみ監視可能かどうかを特定する必要がある。
主な困難は、特に緩やかなフィードバックや関数近似の下では、リターン予測精度の総括的な批評家が、アクションにクレジットを割り当てるために必要な局所的な価値差の解決に失敗する可能性があることである。
従来の批評家は将来のリターンを見積もっているが、政策改善はそれぞれの中間的な決定がタスクの成功を多かれ少なかれ達成するかどうかを知ることにも依存している。
SCALE(アクター・クリティカル・フレームワーク)は,従来のリターン推定を,最終的なタスク成功の明示的な予測で強化する。
各インタラクションプレフィックスにおいて、批評家は、タスクが最終的にそのプレフィックスから完了する確率として定義された戻り値と成功値を予測する。
SCALEは、成功値の変化をSuccess-GAEを通じて多段階のアクションクレジットに変換し、トークンレベルのPPO目標を維持しながら、予測者の推定信頼性に応じてそのコントリビューションを変調する。
5つのベンチマークと3つのモデルバックボーンで、SCALEは、ほとんどの設定で比較されたRLベースラインよりもタスクパフォーマンスを改善し、成功率は4.1ポイントまで上昇する。
異なる批判学習分析により、SCALEは批判推定と訓練安定性も改善することが示された。
関連論文リスト
- LLM Value Functions for Credit Assignment in Agentic RL [50.30222345182353]
LLM値関数RL(LVRL)を導入し、個別の批評家を微調整することなく、ポリシーを意識した状態値を推定する。
LVRLは、グループコンテキストの値モデルを定義し、初期状態と終状態の既知の値を用いて予測を校正する。
我々は,この考え方を,推定値の低下に伴う行動に教師の監督を集中させるオンライン蒸留(OPD)を通じて,専門家の政策から学ぶことに拡張する。
論文 参考訳（メタデータ） (2026-10-11T18:46:50Z) - Privy to the Foil: Recasting Value Estimation with a Self-Privileged Critic for RLVR [18.523561366846778]
$PPOは、価値推定のための自己特権のアクター批判フレームワークである。
$PPOは、一定のマージンで、常に価値推定品質を改善します。
論文 参考訳（メタデータ） (2026-09-29T15:32:21Z) - Targeting Pivotal Decisions for Credit Assignment in Agentic Reinforcement Learning [39.325308642396244]
本稿では,エージェント強化学習におけるきめ細かなクレジット割り当てを,潜在的に重要な決定対象とするフレームワークであるProVerを紹介する。
ProVerは、モデル判定のみを使用して検証の場所を選択することで、すべての中間状態を徹底的に評価することなく、観察結果のローカルクレジットを根拠にします。
ALFWorld、WebShop、SearchQAを通じて、ProVerは両方のモデルスケールで最高の平均パフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-09-28T19:48:05Z) - AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。
ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
論文 参考訳（メタデータ） (2026-08-06T13:00:59Z) - From Critic to Confidence: PPO for Language-Based Quantitative Prediction with Confidence Estimation [5.656836494285984]
LLMは、構造化されていない入力から言語ベースの定量的予測を行うことができるが、幻覚や過度に信ずる誤りの影響を受けやすいままである。
本稿では,不確実性推定のための損失予測とアクタクリティカルなPPO微調整の関連性を確立するための強化学習フレームワークであるCARE-PPOを紹介する。
CARE-PPOは、高い定量的予測性能を達成しつつ、批評家による信頼度推定を著しく改善する。
論文 参考訳（メタデータ） (2026-07-14T12:15:19Z) - Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents [7.774009529494805]
LLMエージェントは、各アクションが後続の判断条件の状態を変更し、1つの間違ったステップが相互作用予算を無駄にしたり、最終失敗が観測されるずっと前に不可逆的な副作用を引き起こす可能性がある外部環境において作用する。
LLM批判者が過去の判断と観察結果から証拠を蓄積する自己進化的批判フレームワーク(methodshort)を導入する。
論文 参考訳（メタデータ） (2026-07-14T06:17:09Z) - VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。
アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。
本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
論文 参考訳（メタデータ） (2026-06-18T09:44:12Z) - RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models [90.39703013636868]
RePO-VLAは、リカバリ駆動のポリシー最適化フレームワークである。
成功、回復、失敗の軌跡に異なる役割を割り当てる。
対人的な成功は、平均で20%から75%、実世界の規模で80%まで上昇する。
論文 参考訳（メタデータ） (2026-05-10T08:24:05Z) - Environmental Understanding Vision-Language Model for Embodied Agent [13.471715889915862]
視覚言語モデル(VLM)は、指示追従型エンボディエージェントに対する強い知覚と推論能力を示している。
本研究では,4つのコアスキルを微調整した環境理解エンボダイドエージェント(EUEA)という新しいフレームワークを提案する。
EUEAスキルを微調整することで、我々のフレームワークは命令追従のためのより信頼性の高いタスク実行を可能にします。
論文 参考訳（メタデータ） (2026-04-21T09:11:00Z) - Verified Critical Step Optimization for LLM Agents [67.05296684575445]
クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。
メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。
GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
論文 参考訳（メタデータ） (2026-02-03T11:41:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。