論文の概要: Dependency-Aware Reward Shaping for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.01207v1
• Date: Thu, 01 Oct 2026 07:16:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.962059
• Title: Dependency-Aware Reward Shaping for Agentic Reinforcement Learning
• Title（参考訳）: エージェント強化学習のための依存型リワード整形
• Abstract要約: DARS(Dependency-Aware Reward Shaping)は、前提条件関係に関連付けられた述語としてタスク進捗を表す。 各ステップを述語するアノテーションマークは、検証、無効化、または修復を行う。 DARSは、同じ予算とハーネスで訓練されたGiGPOよりも最大10ポイントの成功を改善する。
• 参考スコア（独自算出の注目度）: 26.503729765833654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When training large language models with reinforcement learning, terminal rewards provide little guidance about which steps matter. Common methods for assigning step credit overlook that work built on uncorrected mistakes is wasted while independent work remains valid. With only a final success/failure reward, every step in a failed episode has zero total future reward, even when it made progress. We propose Dependency-Aware Reward Shaping (DARS), which represents task progress as predicates linked by prerequisite relations and assigns step-level credit over the dependency graph. An annotator marks which predicates each step verifies, invalidates, or repairs. Verified predicates are discounted according to graph distance from the nearest broken prerequisite, while independent predicates are unaffected. Repairs update these weights based on any errors that remain; invalidated predicates need re-verification to regain credit. A fixed potential converts these annotations into signed per-step rewards. A common reward and annotation interface allows DARS to integrate with a range of reasoning and agentic training methods, such as GiGPO and ARPO/AEPO, without changing their rollout strategies or optimizers. Across five task families and models from 1.5B to 8B, DARS improves success by up to 10 points over GiGPO trained with the same budget and harness (ALFWorld), raises the WebShop task score and Search-R1 QA accuracy, complements AEPO's entropy-based training on AIME24/25 with a Python interpreter, and exceeds OmniOPD in controlled tool-free reasoning comparisons at 1.7B and 4B. Ablations show that step-level credit, dependency attenuation, and graph topology each contribute. On ALFWorld, a distilled 8B annotator matches the API annotator, enabling DARS to run efficiently without a frontier judge. Code is available at https://github.com/JianhuiWei7/DARS.
• Abstract（参考訳）: 強化学習を用いて大規模言語モデルを訓練する場合、端末報酬はどのステップが重要かについてのガイダンスをほとんど提供しない。 修正されていない誤りに基づいて構築された作業は、独立した作業が有効なまま、ステップクレジットの見落としを割り当てるための一般的な方法が無駄になる。 最終的な成功/失敗の報酬だけで、失敗したエピソードのすべてのステップは、進歩したとしても、完全な将来的な報酬をゼロにする。 本稿では,タスク進捗を前提条件関係でリンクした述語として表現し,ステップレベルの信用を依存グラフ上に割り当てるDARSを提案する。 各ステップを述語するアノテータマークは、検証、無効化、または修復を行う。 検証された述語は最も近い前提条件からグラフ距離に応じて割引され、独立した述語は影響を受けない。 修復作業は、残されているエラーに基づいてこれらの重みを更新する。 固定ポテンシャルは、これらのアノテーションをステップ毎に署名された報酬に変換する。 一般的な報酬とアノテーションのインターフェースにより、DARSは、ロールアウト戦略やオプティマイザを変更することなく、GiGPOやARPO/AEPOといった様々な推論およびエージェント的トレーニング手法との統合が可能になる。 1.5Bから8Bまでの5つのタスクファミリとモデルにおいて、DARSは、同じ予算とハーネス(ALFWorld)でトレーニングされたGiGPOよりも最大10ポイント成功し、WebShopタスクスコアとSearch-R1 QAの精度を高め、AEPOのAIME24/25でのエントロピーベースのトレーニングをPythonインタプリタで補完し、1.7Bと4Bでコントロールされたツールフリー推論比較でOmniOPDを上回っている。 アブレーションは、ステップレベルの信用、依存性の減衰、グラフトポロジーがそれぞれ寄与していることを示している。 ALFWorldでは、蒸留した8BアノテータがAPIアノテータと一致し、DARSはフロンティアの判断なしに効率的に実行される。 コードはhttps://github.com/JianhuiWei7/DARSで入手できる。

関連論文リスト

• GraphHCA: Closed-Form Hindsight Credit Assignment for Long-Horizon LLM Agents [22.9047313166022]
  グループベース強化学習(RL)は、高度な大規模言語モデル(LLM)を持ち、エージェントタスクにまで拡張されている。 Hindsight Credit assignment (HCA) は、後見と行動政治の確率の比率による信用の属性である。 本稿では,HCAのモデルフリーな実現法であるGraphHCAを提案する。
  論文  参考訳（メタデータ） (2026-09-28T13:03:13Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
  セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。 最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。 代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
  論文  参考訳（メタデータ） (2026-05-21T09:19:23Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Abduct, Act, Predict: Scaffolding Causal Inference for Automated Failure Attribution in Multi-Agent Systems [20.846301581161978]
  マルチエージェントシステムにおける障害帰属は、批判的だが未解決の課題である。 現在の手法では、これを長い会話ログ上のパターン認識タスクとして扱う。 A2P Scaffoldingは、パターン認識から構造化因果推論タスクへの障害帰属を変換する。
  論文  参考訳（メタデータ） (2025-09-12T16:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。