論文の概要: Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL

• arxiv url: http://arxiv.org/abs/2610.00574v1
• Date: Wed, 30 Sep 2026 18:45:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.715855
• Title: Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL
• Title（参考訳）: Make Sparse Rewards Count:Make Sparse Reward Aggregation for Multi-Reward RL
• Abstract要約: マルチリワード強化学習は、複数の行動目標を同時に満たすために、大きな言語モデルを訓練する。 我々は、この振る舞いを有利エネルギー、すなわち報酬の2乗の利点の総和を通じて研究する。 理想化されたGDPO正規化の下では、このエネルギーは活性群密度に比例することを示す。 我々は、あまり活発でない報酬から信号により大きな重みを与える逆二乗根密度補正を導出する。
• 参考スコア（独自算出の注目度）: 5.111177759961074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-reward reinforcement learning trains large language models to satisfy multiple behavioral objectives simultaneously. Reward-wise normalization, as used in GDPO, preserves reward-specific relative information within rollout groups, but different objectives can still exhibit uneven learning progress. We study this behavior through advantage energy, the sum of a reward's squared advantages over a batch. Under idealized GDPO normalization, we show that this energy is proportional to active-group density: the fraction of rollout groups in which the reward provides nonzero relative advantages. This reveals a residual batch-level signal imbalance and provides a basis for calibrating reward contributions. Based on this relation, we propose Density-Aware Reward Aggregation (DARA). We derive an inverse-square-root density correction that gives greater weight to signals from less frequently active rewards. DARA computes its weights from each rollout batch, adapting to changes in reward activity throughout training without modifying the underlying policy optimization objective. Experiments on tool calling and mathematical reasoning show that DARA learns the targeted behaviors faster than GDPO, reaching high format compliance in up to 26% fewer training steps on tool calling and near-saturated length compliance in up to 65% fewer steps on mathematical reasoning, while remaining competitive in final performance. Our code is available at https://github.com/zhaihaotian/DARA.
• Abstract（参考訳）: マルチリワード強化学習は、複数の行動目標を同時に満たすために、大きな言語モデルを訓練する。 GDPOで用いられるように、リワードワイド正規化はロールアウトグループ内の報酬特異的相対情報を保存するが、異なる目的は依然として不均一な学習の進展を示す。 我々は、この振る舞いを有利エネルギー、すなわち報酬の2乗の利点の総和を通じて研究する。 理想化されたGDPO正規化の下では、このエネルギーは活性群密度に比例する:報酬が非ゼロ相対的な優位性をもたらすロールアウト群の分数である。 これは残差のバッチレベルの信号の不均衡を明らかにし、報酬の貢献を校正するための基盤を提供する。 この関係に基づいて密度認識逆アグリゲーション(DARA)を提案する。 我々は、あまり活発でない報酬から信号により大きな重みを与える逆二乗根密度補正法を導出する。 DARAは各ロールアウトバッチからウェイトを計算し、基礎となるポリシー最適化の目標を変更することなく、トレーニング全体を通して報酬活動の変化に適応する。 ツール呼び出しと数学的推論の実験によると、DARAはGDPOよりも高速にターゲットの振る舞いを学習し、高いフォーマットのコンプライアンスを最大26%削減し、ツール呼び出しのトレーニングステップとほぼ飽和した長さのコンプライアンスを最大65%削減し、最終的なパフォーマンスでは競争力を維持している。 私たちのコードはhttps://github.com/zhaihaotian/DARA.comで公開されています。

関連論文リスト

• Uncovering and Mitigating Aggregation-Induced Reward Hacking in Multi-Reward Reinforcement Learning [10.293423808492678]
  Adaptive Multi-Reward Projection (AMRP) は、3つの信号、相対的不足、報酬のボラティリティ、最近の進歩を用いて集約重みを再配置する軽量なオンライン手法である。 AMRPは、固定および動的重み付けベースラインに対する報奨バランスとダウンストリームパフォーマンスを一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-31T18:24:22Z)
• Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization [60.89431018071735]
  グループ相対的な優位性を持つ強化学習は、訓練後の言語モデル推論のデファクトスタンダードとなっている。 異なる報酬プロファイルを持つロールアウトは、同じ利点を享受でき、現在の飽和度に関わらず、全ての目的が固定相対重みで最適化されることを示す。 本研究では,各報酬目標を独立に標準化し,目標飽和度をバッチレベルで推定した値に従って貢献を適応的に割引する飽和度認識再重み付けを導入する。
  論文  参考訳（メタデータ） (2026-08-17T04:07:50Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• FlowRL: Matching Reward Distributions for LLM Reasoning [69.88820066093798]
  大規模言語モデル(LLM)強化学習(RL)において、報酬を最大化する代わりに、フローバランシングによる全報酬分布をマッチングするフローRLを提案する。 我々はスカラー報酬を学習可能な分割関数を用いて正規化対象分布に変換し、その後、ポリシーと対象分布との逆KL分散を最小化する。
  論文  参考訳（メタデータ） (2025-09-18T17:56:36Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。