論文の概要: RELACE: retrospective likelihood-based action credit estimation for long-horizon language agents

• arxiv url: http://arxiv.org/abs/2610.07349v1
• Date: Mon, 05 Oct 2026 20:19:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.64777
• Title: RELACE: retrospective likelihood-based action credit estimation for long-horizon language agents
• Title（参考訳）: RELACE:ロングホライズン言語エージェントの振り返り確率に基づく行動クレジット推定
• Abstract要約: RELACEは,反省的行動評価と状態条件の利点推定を統合した,批判のないフレームワークである。 Qwen2.5-1.5B-InstructとQwen2.5-7B-InstructによるALFWorldとWebShopの実験は、GRPO、GiGPO、HCAPOよりも大幅に改善された。
• 参考スコア（独自算出の注目度）: 1.8552770604791606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group Relative Policy Optimization (GRPO) avoids a separate critic by estimating advantages from rollout groups. For multi-turn agents, however, trajectory-level supervision provides coarse, noisy credit: terminal rewards do not locate errors and can penalize useful actions alongside mistakes. Group-in-Group Policy Optimization (GiGPO) and subsequent methods refine supervision through state-conditioned comparisons, but their credit estimates remain sensitive to downstream decisions and outcomes. We introduce RELACE, Retrospective Likelihood-based Action, a critic-free framework that integrates retrospective action assessment with state-conditioned advantage estimation. RELACE evaluates executed actions through teacher-forced likelihood scoring under both their original contexts and outcome-augmented contexts. Comparing these likelihoods yields a trajectory-normalized retrospective factor that captures outcome-dependent changes in action plausibility, rather than hindsight plausibility alone. We use this factor to reweight discounted task returns and construct local advantages by comparing weighted returns among actions from equivalent states within a task. This couples retrospective relevance with observed reward, producing fine-grained credit that complements trajectory-level GRPO supervision. Temporal smoothing and success-protecting masking further stabilize the local signal. RELACE requires neither auxiliary value nor reward models nor additional autoregressive rollouts for credit estimation. Experiments on ALFWorld and WebShop with Qwen2.5-1.5B-Instruct and Qwen2.5-7B-Instruct demonstrate substantial improvements over GRPO, GiGPO, and HCAPO. With the 1.5B model, RELACE achieves $96.35\%$ success on ALFWorld and $79.43\%$ on WebShop, surpassing GiGPO by $5.47$ and $5.60$ percentage points, respectively.
• Abstract（参考訳）: グループ相対政策最適化(GRPO)は、ロールアウトグループからの利点を見積もることで、別の批判を避ける。 しかし、マルチターンエージェントにとって、トラジェクトリレベルの監督は、粗悪でノイズの多い信用を与える。 グループ・イン・グループ・ポリシー・オプティマイゼーション(GiGPO)とその後の手法は、状態条件の比較を通じて監督を洗練させるが、彼らの信用推定は下流の意思決定や結果に敏感である。 RELACE, Retrospective Likelihood-based Actionは, 反省的行動評価と状態条件付き優位推定を統合した, 批判のないフレームワークである。 RELACEは、教師が強制する確率スコアリングによって実行された行動を評価する。 これらの可能性を比較すると、後向きの可視性のみではなく、結果に依存した行動可視性の変化を捉える軌跡正規化のレトロスペクティブ因子が得られる。 我々は,タスク内の等価状態からのアクション間の重み付けされたリターンを比較することで,タスクリターンの再重み付けを行い,局所的なアドバンテージを構築する。 このことは、観察された報酬とふりかえりの関連性を持ち、軌道レベルのGRPO監督を補完するきめ細かい信用を生み出します。 時間的平滑化と成功保護マスクは局所的なシグナルをさらに安定させる。 RELACEは補助的な価値や報酬モデルも必要とせず、追加の自己回帰的なロールアウトも必要としない。 Qwen2.5-1.5B-InstructとQwen2.5-7B-InstructによるALFWorldとWebShopの実験は、GRPO、GiGPO、HCAPOよりも大幅に改善された。 1.5Bモデルでは、ALFWorldで96.35.%、WebShopで79.43.%、それぞれ5.47ドルと5.60ドルを超えた。

関連論文リスト

• TRIAGE: Role-Typed Credit Assignment for Agentic Reinforcement Learning [10.917273110894469]
  エージェント強化学習では、環境に配慮した行動にクレジットを割り当てる必要がある。 標準GRPOは全てのアクショントークンに対する一様優位性として最終検証結果を使用する。 本稿では,ロール型クレジット代入フレームワークであるTRIAGEを提案する。
  論文  参考訳（メタデータ） (2026-06-30T17:48:07Z)
• VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
  GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。 アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。 本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-18T09:44:12Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• When Denser Credit Is Not Enough: Evidence-Calibrated Policy Optimization for Long-Horizon LLM Agent Training [8.367896852036699]
  Evidence-Calibrated Policy Optimization (ECPO) は、ポリシー更新の前にステップレベルのクレジットを校正する、批判のないポリシー最適化アルゴリズムである。 ECPOは強いベースラインを一貫して上回り、Qwen2.5-1.5BでALFWorld/WebShopでGGPOを+5.2/+7.3成功点で改善した。
  論文  参考訳（メタデータ） (2026-06-04T08:54:09Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective [10.958642517467721]
  RLVRにおけるコントラストシーケンスレベルのポリシー最適化のためのフレームワークを提案する。 ConSPOはGRPOのクリップされた比率ベースのスコアを、長さ正規化されたシーケンスログ確率に置き換える。 ConSPOは、挑戦的な数学的推論ベンチマークにおいて、いくつかの強力なRLVRベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-13T04:02:36Z)
• RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models [90.39703013636868]
  RePO-VLAは、リカバリ駆動のポリシー最適化フレームワークである。 成功、回復、失敗の軌跡に異なる役割を割り当てる。 対人的な成功は、平均で20%から75%、実世界の規模で80%まで上昇する。
  論文  参考訳（メタデータ） (2026-05-10T08:24:05Z)
• WS-GRPO: Weakly-Supervised Group-Relative Policy Optimization for Rollout-Efficient Reasoning [67.45237332694025]
  グループ相対政策最適化は、複雑な推論に基づいて言語モデルを訓練するのに効果的である。 Weakly Supervised GRPOを提案し、端末報酬を正当性を考慮したガイダンスに変換することにより、ロールアウト効率を向上させる。
  論文  参考訳（メタデータ） (2026-02-19T02:43:35Z)
• Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
  グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。 我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。 OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2026-01-12T10:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。