論文の概要: Whitened Advantage Summation Policy Optimization: Correlation-Aware Aggregation for Multi-Reward Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.02609v1
• Date: Mon, 02 Nov 2026 06:30:27 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:24:02.604845
• Title: Whitened Advantage Summation Policy Optimization: Correlation-Aware Aggregation for Multi-Reward Reinforcement Learning
• Title（参考訳）: ホワイトド・アドバンテージ・サミネーション・ポリシー最適化:マルチリワード強化学習のための相関性を考慮したアグリゲーション
• Abstract要約: 言語モデルの強化学習は、しばしば、各モデルの正規化と固定重み付けによるいくつかの報酬を組み合わせる。 我々はWAS-POについて検討し、通常の利点を$-1/2$で加え、選択した重みがそれらの成分に適用されるようにした。
• 参考スコア（独自算出の注目度）: 0.6372261626436676
• License:
• Abstract: Reinforcement learning for language models often combines several rewards by normalizing each one and adding them with fixed weights. When the rewards are correlated, the variation they share is counted once for every reward that carries it. In terms of the ZCA-decorrelated components of the reward signal, the weighted sum applies weights $Σ^{1/2} w$ rather than the chosen weights $w$, where $Σ$ is the reward correlation matrix. We study WAS-PO, which whitens the normalized advantages with $Σ^{-1/2}$ before adding them, so that the chosen weights apply to those components. We derive the scalarized objective whose gradient it follows when normalization statistics are held fixed, show that its weights on the raw rewards can be negative, give an exact two-reward condition under which the lighter-weighted reward is reversed, and give a loose bound on the error from estimating $Σ$ during training. On tool calling with Qwen2.5-1.5B-Instruct, WAS-PO reached a higher mean training reward than GDPO in all seven seeds with three rewards (3.8% higher) and all three seeds with four (3.9% higher). WAS-PO also replaces GDPO's per-prompt normalization with batch-level normalization, and we did not separate the two changes with three or four rewards. The training-reward gains did not carry over to held-out accuracy, which was slightly lower than GDPO's with three rewards (not significant) and 0.03 lower in absolute terms with four (two seeds evaluated). With two rewards, WAS-PO trailed GDPO in training reward, and a three-seed control weakly suggests that the gap comes from batch-level normalization rather than whitening. In a math setting where the two rewards were nearly identical by construction, WAS-PO drove down the lighter-weighted reward, as the sign condition predicts.
• Abstract（参考訳）: 言語モデルの強化学習は、しばしば、各モデルの正規化と固定重み付けによるいくつかの報酬を組み合わせる。 報酬が相関すると、それらが共有する変動は、それを運ぶすべての報酬に対して1度カウントされる。 報酬信号のZCA非相関成分に関して、重み付き和は、選択された重み$w$ではなく、重み$Σ^{1/2} w$を適用し、$Σ$は報酬相関行列である。 我々はWAS-POについて検討し、それらの成分に選択した重みが適用されるように$Σ^{-1/2}$で正規化の利点を白くする。 正規化統計値が固定されたときに追従する勾配を導出し、生の報酬に対する重み付けが負であることを示し、より軽量な報酬が逆転する正確な2逆条件を与え、トレーニング中に$$$を見積もることによる誤差の緩い境界を与える。 Qwen2.5-1.5B-Instructのツールコールでは、WAS-POはGDPOよりも3つの賞(3.8%)と4つの賞(3.9%)で高い平均トレーニング報酬を得た。 WAS-POはまたGDPOのプロンプトごとの正規化をバッチレベルの正規化に置き換えた。 トレーニング・リワード・ゲインは、GDPOよりもわずかに低い3つの報酬(有意ではない)と0.03低い4つの結果(2つの種子の評価)を達成できなかった。 2つの報酬で、WAS-POはトレーニング報酬としてGDPOに追随し、3シードのコントロールは、白化ではなくバッチレベルの正規化によるギャップを弱めていることを示唆している。 2つの報酬がほぼ同じ構成の数学環境では、WAS-POは信号条件が予測するほど軽量の報酬を減らした。

関連論文リスト

• CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning [50.78598181844571]
  グループ相対ポリシー最適化は、同じプロンプトのロールアウトにまたがる報酬の集中と正規化によって、利点を計算します。 ピアソン相関係数に対の共分散を正規化する相関正規化GRPOを提案する。 これにより、大きな報酬成分に支配される正規化を伴わずに、有利な大きさで報酬相関に適応することができる。
  論文  参考訳（メタデータ） (2026-09-29T06:30:02Z)
• ReCAST: Reward Credit Assignment across Timesteps for Online Diffusion Reinforcement [49.49571101362551]
  本稿では,ReCAST(Reward Credit Assignment across Timesteps)を提案する。 我々は、ReCASTがトレーニング報酬を超えて、その中核となる原則をサポートするために一般化する改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-09-11T18:41:09Z)
• Tail-Likelihood Reinforcement Learning [63.90013981311359]
  Tail-Likelihood Reinforcement Learning (TailRL)は、ランダムに選択された報酬閾値を超える対数確率を最大化する。 TailRLは、利点関数に簡単な修正しか必要とせず、既存の強化学習パイプラインと互換性がある。
  論文  参考訳（メタデータ） (2026-09-02T14:54:45Z)
• Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization [60.89431018071735]
  グループ相対的な優位性を持つ強化学習は、訓練後の言語モデル推論のデファクトスタンダードとなっている。 異なる報酬プロファイルを持つロールアウトは、同じ利点を享受でき、現在の飽和度に関わらず、全ての目的が固定相対重みで最適化されることを示す。 本研究では,各報酬目標を独立に標準化し,目標飽和度をバッチレベルで推定した値に従って貢献を適応的に割引する飽和度認識再重み付けを導入する。
  論文  参考訳（メタデータ） (2026-08-17T04:07:50Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Reinforcement Learning with Verifiable Rewards: GRPO's Effective Loss, Dynamics, and Success Amplification [10.617854230082896]
  グループ相対政策最適化は、検証可能な(バイナリ)報酬の下でLLMの推論を促進するために最近導入された。 我々は、報酬正規化(平均のみ対平均+分散)とKL分散を用いた更新の正則化の仕方が異なる変種を解析する。
  論文  参考訳（メタデータ） (2025-03-09T14:36:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。