論文の概要: Rethinking Reward Miscalibration of GRPO in Agentic RL

• arxiv url: http://arxiv.org/abs/2509.23870v1
• Date: Sun, 28 Sep 2025 13:24:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.496315
• Title: Rethinking Reward Miscalibration of GRPO in Agentic RL
• Title（参考訳）: エージェントRLにおけるGRPOの再検討
• Authors: Jingyu Liu, Xiaopeng Wu, Jingquan Peng, Kehan Chen, Chuan Yu, Lizhong Ding, Yong Liu,
• Abstract要約: 結果に基づく報酬は、これらの欠陥のある中間ステップに対して期待される負の優位性を保証することを示す。 我々は,善悪行為の埋め込みを分離するために,善悪行為を分類するアクターの訓練を提案する。
• 参考スコア（独自算出の注目度）: 18.495499496405635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building autonomous agents capable of solving long-horizon, real-world tasks has garnered significant research interest. But outcome based rewards may cause reward miscalibration which means it might mistakenly allocate positive reward to flawed middle steps which is regarded as the key reason making the bad actions being reinforced during training. However we reveal that outcome based reward ensures expected negative advantage for those flawed middle steps, which means the flawed actions should be punished during training. Even accounting for the ``squeezing effect", the probability mass of good actions should increase and the actor should gradually get rid of harmful actions. This shows that flawed actions should be punished during training. We further identify gradient coupling between similar samples as a key issue in agentic RL, the input prompt is extremely similar and the output action space is limited, therefore during training, gradients from well-performing samples can inadvertently strengthen suboptimal or incorrect actions due to similar input observation and output actions. We show that with gradient coupling, some flawed actions might be enhanced. To address this, we propose training the actor to classify good or bad actions to separate the embedding of good/bad actions and alleviate the gradient interference, extensive experiments shows its effectiveness.
• Abstract（参考訳）: 長期的な現実世界のタスクを解決できる自律エージェントの構築は、大きな研究の関心を集めている。 しかし、結果に基づく報酬は、報酬の誤判定を引き起こす可能性がある。これは、トレーニング中に悪い行動を補強する鍵となる原因と考えられている欠陥のある中間ステップに、誤って正の報酬を割り当てる可能性があることを意味する。 しかし、結果に基づく報酬は、これらの欠陥のある中間ステップに対して期待される負の優位性を保証する。 squeezing effect" を考慮しても、良い行動の確率は増加し、アクターは徐々に有害な行動を取り除くべきである。 これは、欠陥のある行為は訓練中に処罰されるべきであることを示している。 さらに, エージェントRLにおいて, 類似試料間の勾配結合が重要な問題であり, 入力プロンプトは極めて類似しており, 出力動作空間は限定的であるため, トレーニング中は, 良好な性能を有する試料からの勾配は, 類似の入力観察と出力動作により, 必然的に準最適あるいは不正な動作を補強することができる。 勾配結合では、いくつかの欠陥のある動作が強化される可能性がある。 そこで本研究では,善行行為の埋め込みを分離し,勾配干渉を軽減するために,善行行為や悪行行為を分類する訓練を提案し,その効果を示す実験を行った。

関連論文リスト

• GTR: Guided Thought Reinforcement Prevents Thought Collapse in RL-based VLM Agent Training [62.536191233049614]
  検証結果報酬(RLVR)を用いた強化学習は、大規模言語モデル(LLM)におけるチェーン・オブ・ソート(CoT)推論を効果的にスケールアップした。 本研究は、24点やALFWorldの具体化タスクなど、複雑なカードゲームに関する広範な実験を通じてこの問題を調査する。 報酬が行動結果にのみ基づく場合、RLはVLMにおけるCoT推論の動機付けに失敗し、代わりに思考崩壊と呼ばれる現象が生じる。
  論文  参考訳（メタデータ） (2025-03-11T15:17:02Z)
• Reducing Action Space for Deep Reinforcement Learning via Causal Effect Estimation [15.684669299728743]
  本研究では,行動の因果効果を推定し,探索効率を向上させる手法を提案する。 まず、環境の事前知識として機能するために、逆ダイナミクスモデルを事前訓練する。 各ステップでアクション空間全体にわたってアクションを分類し、各アクションの因果効果を推定し、冗長なアクションを抑制する。
  論文  参考訳（メタデータ） (2025-01-24T14:47:33Z)
• Can Active Sampling Reduce Causal Confusion in Offline Reinforcement Learning? [58.942118128503104]
  因果的混乱(英: Causal confusion)とは、エージェントがデータ中の不完全な急激な相関を反映するポリシーを学ぶ現象である。 この現象は特にロボット工学などの領域で顕著である。 本稿では,オフライン強化学習における因果的混乱について検討する。
  論文  参考訳（メタデータ） (2023-12-28T17:54:56Z)
• Would I have gotten that reward? Long-term credit assignment by counterfactual contribution analysis [50.926791529605396]
  モデルベース信用代入アルゴリズムの新たなファミリーであるCOCOA(Counterfactual Contribution Analysis)を紹介する。 我々のアルゴリズムは、その後の報酬を得る際の行動の貢献度を測定することによって、正確な信用割当を実現する。
  論文  参考訳（メタデータ） (2023-06-29T09:27:27Z)
• Distributional Reward Estimation for Effective Multi-Agent Deep Reinforcement Learning [19.788336796981685]
  実効的マルチエージェント強化学習(DRE-MARL)のための分散逆推定フレームワークを提案する。 本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。 DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
  論文  参考訳（メタデータ） (2022-10-14T08:31:45Z)
• The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition [84.51875325962061]
  本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。 我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。 我々の手法は一貫してベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-10-11T16:00:36Z)
• Utilizing Skipped Frames in Action Repeats via Pseudo-Actions [13.985534521589253]
  多くの深層強化学習では、エージェントがアクションを取ると、次のアクション決定点まで状態を観察しずに、事前定義された回数で同じアクションを繰り返します。 訓練データの量は、反復する行動の間隔に逆比例するので、トレーニングのサンプル効率に悪影響を及ぼす可能性がある。 疑似アクションの概念を導入してこの問題を緩和する,シンプルだが効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-07T02:43:44Z)
• Combating False Negatives in Adversarial Imitation Learning [67.99941805086154]
  敵対的模倣学習では、エージェントエピソードと、所望の行動を表す専門家のデモンストレーションとを区別するために、判別器を訓練する。 訓練された方針がより成功することを学ぶと、負の例は専門家の例とますます似ている。 本研究では,偽陰性の影響を緩和し,BabyAI環境上で検証する手法を提案する。
  論文  参考訳（メタデータ） (2020-02-02T14:56:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。