論文の概要: ProCredit: From Outcome Rewards to Progress Credit in Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.27532v2
• Date: Thu, 24 Sep 2026 05:29:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.347096
• Title: ProCredit: From Outcome Rewards to Progress Credit in Agentic Reinforcement Learning
• Title（参考訳）: ProCredit: エージェント強化学習におけるアウトカム・リワードからプログレッシブ・クレジットへ
• Abstract要約: 長い水平のエージェントタスクは、エージェントが一連のツールコールを通して環境を変更する必要がある。 標準レシピは最後に1つの結果の報酬を割り当て、同じタスクのためにサンプリングされた軌跡を比較する。 提案するProCreditは、この検証された進捗を信用化します。
• 参考スコア（独自算出の注目度）: 23.000026656063625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon agentic tasks require an agent to modify an environment through a sequence of tool calls, with success determined by the final state. The standard recipe assigns a single outcome reward at the end and compares trajectories sampled for the same task. As a result, a group with no successful trajectory yields no training signal, failed attempts cannot be told apart by how close they came to completion, and turns that advance the task receive the same credit as turns that only query the environment. Prior work refines the unit of comparison from the trajectory to the step, or trains a reward model to supply intermediate signal: the former still derives its signal from final success alone, and the latter estimates it with a model. We observe that the acceptance checks that decide success can also be run on intermediate states, so progress is as verifiable as the outcome. We propose ProCredit, which turns this verified progress into credit: it reruns the acceptance checks after each turn, rewards the turn by its change in progress, and uses these rewards to assign credit both across attempts at the same task and across the turns within a trajectory. Starting from Qwen3.5 base models at three scales on AppWorld, ProCredit outperforms outcome-reward baselines and progress-based baselines in task completion rate at every scale on both test sets, exceeding the strongest outcome-reward baseline by 4.1 percentage points at 4B, and results in a second environment show the same direction of improvement. Ablations show that adding the final progress to the trajectory score alone does not improve performance: the gain comes from crediting progress to the turn where it occurs.
• Abstract（参考訳）: 長期のエージェントタスクでは、エージェントが一連のツールコールを通じて環境を変更する必要があり、最終的な状態によって成功が決定される。 標準レシピは最後に1つの結果の報酬を割り当て、同じタスクのためにサンプリングされた軌跡を比較する。 結果として、軌道がうまく進まないグループは、訓練信号が得られず、失敗した試みは、どれだけ完了したかによって区別できず、タスクの進行は、環境のみを照会するターンと同じクレジットを受け取る。 以前の作業では、軌道からステップまでの比較の単位を洗練させたり、中間信号の供給のために報酬モデルを訓練したりしていた。 成功を決める受理チェックは中間状態でも実行可能であるので、進捗は結果と同じくらい検証可能である。 ProCreditは、各ターンの後に受理チェックを実行し、進行の変化によってターンを報奨し、これらの報酬を使用して、同じタスクにおける試行と軌道内のターンをまたいでクレジットを割り当てる。 AppWorld上の3つのスケールにおけるQwen3.5ベースモデルから始めて、ProCreditは、両方のテストセットにおける各スケールにおける結果逆ベースラインとタスク完了率の進捗ベースのベースラインを上回り、4Bにおいて最も高い結果逆ベースラインを4.1ポイント上回り、第2の環境では改善の方向性が同じである。 アブレーションは、軌道スコアに最終的な進捗を加えるだけではパフォーマンスが向上しないことを示している。

関連論文リスト

• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• MileGPO: Milestone Inference with Local Evidence for Graph-Based Policy Optimization of Long-Horizon LLM Agents [26.262385802144323]
  プロセスレベルの信用を3つの設計を通じてグループ化されたオン・ポリティクス・ロールアウトから導き出すMileGPOを提案する。 MileGPOは補助モデルも追加の環境相互作用も必要としない。
  論文  参考訳（メタデータ） (2026-08-20T08:58:27Z)
• Dream2Reward: Transition-Alignment Reward Models from Positive Demonstrations for Robotic Manipulation [51.43645327777772]
  そこでDream2Rewardを紹介し,肯定的な実証から言語条件で成功した潜在遷移場を学習する。 観察結果が進行しているように見える場合でも、間違った方向、オーバーシューティング、停滞した動きを罰する。 オンラインとオフラインのポリシー学習全体において、同じフリーズ報酬モデルが報酬のハッキングを減らし、より強力な下流のパフォーマンスをサポートする。
  論文  参考訳（メタデータ） (2026-08-19T10:44:20Z)
• TRCA: Transition-wise Rubric Credit Assignment for Long-horizon LLM Agents [22.01777615106231]
  Long-Horizon Large Language Model (LLM) エージェントは通常、スパース終端結果に最適化される。 本稿では、ステップレベルの監督を行動誘発遷移から直接引き出すトランジッションワイド・クレジット・アサインメントを提案する。 ALFWorld、WebShop、および7つの検索拡張された質問回答ベンチマークの実験は、評価されたベースラインよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-08-17T06:19:12Z)
• Gated-BEPO: Confidence-Gated Bellman Credit Assignment for Large Language Model Agents [20.885871857379897]
  長期にわたる環境下での大規模言語モデルエージェントの訓練には、個々の行動に疎い端末結果からクレジットを割り当てる必要がある。 経験的ロールアウトグラフからステップレベルのクレジットを導出するGated-BEPOを提案する。
  論文  参考訳（メタデータ） (2026-08-07T06:38:12Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• Hierarchical Advantage Weighting for Online RL Fine-Tuning of VLAs from Sparse Episode Outcomes [40.20394793623452]
  事前トレーニングされたVLAポリシーがオンラインRLを介して微調整されると、各ロールアウトエピソードは単一のバイナリ結果のみを生成する。 階層的アドバンテージ・重み付き行動クローン (HABC) を提案する。 HABCは教師付き微調整(SFT)ベースラインを36%、44%、12%から92%、88%、38%で成功している。
  論文  参考訳（メタデータ） (2026-06-15T17:57:14Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
  コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。 この問題は、事前評価が結果駆動である変換において特に深刻である。 ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。 このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
  論文  参考訳（メタデータ） (2026-05-27T19:57:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。