論文の概要: Action-Value Calibration via Continuation Sharing for Long-Horizon Agentic Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.37195v1
- Date: Tue, 27 Oct 2026 13:16:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.632823
- Title: Action-Value Calibration via Continuation Sharing for Long-Horizon Agentic Reinforcement Learning
- Title（参考訳）: 長期エージェント強化学習のための継続共有による行動価値校正
- Abstract要約: ConCalは、ロールアウトバッチに存在する継続エビデンスを組み込んだ継続値推定器である。
個々のサンプル継続への依存を減らし、追加のロールアウトなしで局所的な信用歪みを緩和する。
Qwen2.5-1.5B-Instructでは、ALFWorldとWebShopでGGPOよりも成功率を3.39と5.86ポイント改善している。
- 参考スコア（独自算出の注目度）: 40.51068092091641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning for long-horizon agents relies on feedback from sequences of interactions, making credit assignment to individual actions difficult. Existing methods such as GiGPO compare actions at shared states to compute relative advantages, but estimate each action's value from a single sampled continuation. The resulting local credit remains sensitive to decisions made later in the trajectory. To address this problem, we propose ConCal (Continuation Calibration), a recursive continuation-value estimator that incorporates continuation evidence already present in a rollout batch. ConCal matches visits from the same task by their incoming state-action-state transitions, combines shared continuation evidence with each visit's own transition estimate, and propagates calibrated values backward to refine earlier action-value estimates. This reduces dependence on individual sampled continuations and mitigates local credit distortions without additional rollouts. Held-out return diagnostics show lower error in within-group value differences and higher agreement with reference action orderings than estimates based on individual continuations. With Qwen2.5-1.5B-Instruct, ConCal improves success rates over GiGPO by 3.39 and 5.86 percentage points on ALFWorld and WebShop, respectively. Our code is available at https://github.com/Yingjian-Chen/ConCal.
- Abstract（参考訳）: ロングホライゾンエージェントの強化学習は、インタラクションのシーケンスからのフィードバックに依存し、個々のアクションへの信用割り当てを困難にしている。
GiGPOのような既存の方法は、共有状態のアクションを比較して相対的な利点を計算するが、それぞれのアクションの値を単一のサンプル連続から推定する。
結果として得られた地域の信用は、後の軌道における決定に敏感なままである。
この問題を解決するために,すでにロールアウトバッチに存在する継続証拠を組み込んだ再帰的継続値推定器であるConCal(Continuation Calibration)を提案する。
ConCalは、入ってくる状態-状態遷移によって同じタスクからの訪問と一致し、共有された継続証拠とそれぞれの訪問の遷移推定を組み合わせ、キャリブレーションされた値を後方に伝播して、以前の行動-値の推定を洗練させる。
これにより、サンプリングされた個々の継続への依存を減らし、追加のロールアウトなしで局所的な信用歪みを軽減できる。
ヒードアウトリターン診断では, グループ内値差の誤差が低く, 参照動作順序との一致度が, 個人連続度に基づく推定値よりも高かった。
Qwen2.5-1.5B-Instructでは、ALFWorldとWebShopでそれぞれ3.39ポイントと5.86ポイントのGGPOよりも成功率を向上させる。
私たちのコードはhttps://github.com/Yingjian-Chen/ConCal.comで公開されています。
関連論文リスト
- FOCUS: Active Critic Learning for Long-Horizon Language Model Agents [50.841006231659826]
FOCUSは、選択的分岐を用いて、批評家ネットワークがその価値推定器を学習するのを助けるRL手法である。
FOCUSは、モジュール型コンテキスト管理インタフェースを通じて、長距離エージェント強化学習をサポートする。
以上の結果から,FOCUSはGRPOとVinePPOよりも高い性能を示した。
論文 参考訳（メタデータ） (2026-10-26T17:34:47Z) - Why Constrained Updates Still Forget: A Functional-Path Analysis of Continual SFT [42.82614522980862]
教師付き微調整は、言語モデルを特定のタスクに適応させるが、以前取得した振る舞いを妨害する可能性がある。
制御方向への更新とともに、古い空間変化を分解する機能パスアカウントを開発する。
これらの知見は, タスクワイズ行動に対する更新レベルの保護と, 明示的な機能的アンカーによる緩和, 軌道評価, 旧/新共同監査とを関連づけるものである。
論文 参考訳（メタデータ） (2026-10-21T03:57:12Z) - Confidence-Calibrated Inference Expansion for Evaluator-Guided Test-Time Reasoning [50.42640957891911]
評価器誘導推論のためのコンピュータ対応3動作制御器を開発した。
ロールアウト型継続サロゲートによる回答の成功と拡張を予測して端末動作を評価する。
我々は,不明瞭な判断に対する局所的不確実性を考慮した行動特異的信頼度推定を学習し,校正する。
論文 参考訳（メタデータ） (2026-10-14T19:25:23Z) - Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳（メタデータ） (2026-10-07T17:37:19Z) - GraphHCA: Closed-Form Hindsight Credit Assignment for Long-Horizon LLM Agents [22.9047313166022]
グループベース強化学習(RL)は、高度な大規模言語モデル(LLM)を持ち、エージェントタスクにまで拡張されている。
Hindsight Credit assignment (HCA) は、後見と行動政治の確率の比率による信用の属性である。
本稿では,HCAのモデルフリーな実現法であるGraphHCAを提案する。
論文 参考訳（メタデータ） (2026-09-28T13:03:13Z) - Cross-Rollout Bellman Closure for Long-Horizon Agentic Reinforcement Learning [24.65372907302829]
クロスロールアウトベルマンクロージャ(CRBC)
クロスロールアウトベルマンクロージャ(CRBC)
例えば、CRBCはQwen2.5-1.5B-InstructでALFWorldで5.59ポイント評価されたベースラインを上回っている。
論文 参考訳（メタデータ） (2026-09-28T13:02:10Z) - Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。
これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
論文 参考訳（メタデータ） (2026-09-26T21:56:26Z) - Success Leaves Detours: Learning Executable Walkthroughs for Long-Horizon Agents [11.833965746124408]
テストタイムの自己進化エージェントは過去の経験を再利用することで改善されるが、スパース・リワード・トラジェクトリには障害、ループ、デトゥールが含まれる。
我々は、ノイズの多いトラジェクトリを実行可能なウォークスルーメモリにコンパイルする依存基盤フレームワークであるTraceを提案する。
J-TTL、WebShop、ScienceWorldの3つのオープンソースのLCMによる実験によると、トレースは8つのテスト時間学習とメモリベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-08-20T01:10:11Z) - Gated-BEPO: Confidence-Gated Bellman Credit Assignment for Large Language Model Agents [20.885871857379897]
長期にわたる環境下での大規模言語モデルエージェントの訓練には、個々の行動に疎い端末結果からクレジットを割り当てる必要がある。
経験的ロールアウトグラフからステップレベルのクレジットを導出するGated-BEPOを提案する。
論文 参考訳（メタデータ） (2026-08-07T06:38:12Z) - TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。
ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。
純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
論文 参考訳（メタデータ） (2026-07-15T16:16:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。