論文の概要: ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.18683v1
• Date: Tue, 13 Oct 2026 16:39:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.684007
• Title: ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning
• Title（参考訳）: ProAS: エージェント強化学習のためのプログレッシブ・アウェア・アドバンテージ・シェーピング・フレームワーク
• Abstract要約: ProAS(Progress-Aware Advantage Shaping)は、Masking Unreasonable Incentives (MUI)とAsymmetric Penalty Redistribution (APR)を通じてきめ細かなクレジット割り当てを実現するためのプラグイン・アンド・プレイフレームワークである。 ProASは、主要なグループベースのベースラインを新しい最先端のパフォーマンスに普遍的に引き上げ、ALFWorldで91.9%、94.3%、WebShopで66.7%、70.8%のピーク成功率を達成した。
• 参考スコア（独自算出の注目度）: 37.02931939816202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has emerged as the primary paradigm for optimizing Large Language Model (LLM) agents, yet efficient critic-free algorithms (e.g., GRPO) suffer from a fundamental uniform credit assignment dilemma that broadcasts trajectory-level advantages equally to all actions. Our analysis reveals that this uniformity inherently reinforces structurally invalid actions in preferred trajectories and ignores the downstream cascading influence of early pivotal deviations in unpreferred ones. To resolve this without introducing critic overhead, we propose Progress-Aware Advantage Shaping (ProAS), a plug-and-play framework that leverages a dynamically evolving Agentic Reference Graph (ARG) to achieve fine-grained credit assignment via Masking Unreasonable Incentives (MUI) and Asymmetric Penalty Redistribution (APR). Extensive experiments across Qwen2.5-1.5B-Instruct and Qwen2.5-7B-Instruct demonstrate that ProAS universally elevates mainstream group-based baselines to new state-of-the-art performance, achieving peak success rates of 91.9\% and 94.3\% on ALFWorld, alongside 66.7\% and 70.8\% on WebShop, respectively. Furthermore, it accelerates training convergence by up to $2.44\times$ while maintaining strong robustness against imperfect or distilled ARGs. Codes: https://github.com/LINs-lab/ProAS.
• Abstract（参考訳）: 大規模言語モデル (LLM) エージェントを最適化するための主要なパラダイムとして強化学習 (RL) が登場したが、効率的な批判のないアルゴリズム (GRPO) は、全ての行動に対して軌跡レベルの利点を均等にブロードキャストする基本的な統一的信用割当ジレンマに悩まされている。 解析の結果, この一様性は, 優先軌道における構造的無効な作用を本質的に強化し, 未優先軌道における初期偏差の下流カスケードの影響を無視することが明らかとなった。 批判的オーバーヘッドを伴わずにこの問題を解決するために,動的に進化するエージェント参照グラフ(ARG)を活用するプラグイン・アンド・プレイ・フレームワークであるProgress-Aware Advantage Shaping(ProAS)を提案し,Masking Unreasonable Incentives(MUI)とAsymmetric Penalty Redistribution(APR)を用いて,詳細なクレジット割り当てを実現する。 Qwen2.5-1.5B-Instruct と Qwen2.5-7B-Instruct の広範な実験により、ProAS は主要なグループベースのベースラインを新しい最先端のパフォーマンスに普遍的に高め、それぞれ 66.7\% と 70.8\% とともに ALFWorld で 91.9\% と 94.3\% のピーク成功率を達成した。 さらに、不完全または蒸留されたARGに対して強い堅牢性を保ちながら、トレーニング収束を最大2.44\times$で加速する。 コード:https://github.com/LINs-lab/ProAS。

関連論文リスト

• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• StepOPSD: Step-Aware Online Preference Distillation for Agent Reinforcement Learning [6.365332042924078]
  本稿では,ロールアウト後の自己蒸留フレームワークであるStepOPSDについて紹介する。 StepOPSDは、軌跡をアクション中心のステップセグメントに分解し、後見豊かな教師コンテキスト下でそれらを再構成する。 より小さい_clipは広範囲に安定化された局所信頼領域として作用するが、最適な大域混合強度_mixはタスク依存のままである。
  論文  参考訳（メタデータ） (2026-05-26T15:07:03Z)
• Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
  非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。 次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。 AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
  論文  参考訳（メタデータ） (2026-05-20T12:57:37Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• Rewards as Labels: Revisiting RLVR from a Classification Perspective [10.774056916074441]
  検証可能なリワードによる強化学習は、最近、複雑な推論タスクにおける大規模言語モデルの能力を進歩させた。 本稿では,評価可能な報酬をスカラーウェイトではなくカテゴリラベルとして再考する新しいフレームワークであるRewards as Labels (REAL)を提案する。 解析の結果,REALは単調かつ有界な勾配重み付けを誘導し,ロールアウト間のバランスの取れた勾配割り当てを可能にすることがわかった。
  論文  参考訳（メタデータ） (2026-02-05T13:11:36Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
  グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。 我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。 OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2026-01-12T10:48:02Z)
• Enhancing Agentic RL with Progressive Reward Shaping and Value-based Sampling Policy Optimization [13.475938754147625]
  Tool-Integrated Reasoning (TIR)で強化されたLarge Language Models (LLM)は、反復的に計画し、外部ツールを呼び、返却された情報を統合して、複雑な長期的推論タスクを解決する。 エージェント強化学習(Agentic RL)は、ツール・インタラクションの完全な軌跡よりも、そのようなモデルを最適化する。 1)バイナリ0-1検証信号のようなスパースで非インストラクティブな報酬は、中間ステップの限られたガイダンスと緩やかな収束を与える。 本稿では,PRS(Progressive Reward Shaping)とVSPO(Value-based Sampling Policy Optimization)の2つの補完手法を提案する。
  論文  参考訳（メタデータ） (2025-12-08T11:59:25Z)
• GRPO-CARE: Consistency-Aware Reinforcement Learning for Multimodal Reasoning [53.894789613838654]
  我々は、複雑な実世界のビデオにバランスの取れた知覚と推論を必要とするベンチマークであるSEED-Bench-R1を紹介する。 SEED-Bench-R1を用いて、標準GRPOは解の精度を向上する一方で、推論ステップと解の論理的コヒーレンスを57.9%の一貫性で減少させる。 応答の正しさと推論コヒーレンスの両方を明示的な監督なしに最適化する整合性を考慮したRLフレームワークGRPO-CAREを提案する。
  論文  参考訳（メタデータ） (2025-06-19T08:49:13Z)
• Skywork R1V2: Multimodal Hybrid Reinforcement Learning for Reasoning [15.61345581743979]
  次世代マルチモーダル推論モデルであるSkywork R1V2を提案する。 コアとなるR1V2では、ハイブリッド強化学習パラダイムが導入されている。
  論文  参考訳（メタデータ） (2025-04-23T12:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。