論文の概要: Baselines and Score Centering in Policy Gradient Estimation

• arxiv url: http://arxiv.org/abs/2610.22263v1
• Date: Thu, 15 Oct 2026 17:28:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.226123
• Title: Baselines and Score Centering in Policy Gradient Estimation
• Title（参考訳）: 政策グラディエント推定における基準線とスコア中心
• Abstract要約: 共分散パースペクティブは、グループ平均ベースラインの役割と、政策勾配推定を中心としたスコアを明らかにします。 両方の中心化の形式が同時に使用されるかどうかは、シーケンスレベルで重要サンプリングが適用されるか、トークンレベルで適用されるかによって異なる。
• 参考スコア（独自算出の注目度）: 2.516996621591222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning has become a widely used approach to post-training large language models. In a typical implementation, learning is off-policy: The policy generating the responses differs from the policy being trained because of training-inference mismatch or policy staleness in asynchronous training. This discrepancy is commonly addressed by importance sampling, whose ratio is usually regularized in practice through truncation, masking, or clipping. Under regularized importance sampling, the importance-weighted policy gradient is no longer invariant to constant shifts in the reward. This invariance is recovered by using the covariance between the reward and the importance-weighted score as the estimand, which coincides with the policy gradient when the ratio is not regularized. This note develops this covariance perspective for both sequence-level and token-level importance sampling. The covariance perspective reveals the roles of the group-mean baseline and score centering in policy gradient estimation. Both perform centering in covariance estimation, but they differ in the mean being subtracted: The group-mean baseline uses a sample mean, whereas score centering uses a population mean. The two lead to distinct unbiased covariance estimators with different variances. Whether both forms of centering should be used simultaneously depends on whether importance sampling is applied at the sequence level or at the token level. With sequence-level importance sampling, score centering adds no benefit once the group-mean baseline is used; with token-level importance sampling, using the group-mean baseline without score centering generally introduces bias when the importance ratio is regularized.
• Abstract（参考訳）: 強化学習は、大規模言語モデルの訓練後において広く使われているアプローチとなっている。 典型的な実装では、学習は非政治的である: 応答を生成するポリシーは、非同期トレーニングにおけるトレーニング推論ミスマッチやポリシーの安定化のためにトレーニングされるポリシーとは異なる。 この違いは、一般的に重要サンプリングによって対処され、その比率は通常、切り抜き、マスキング、切り抜きによって、実際には規則化されている。 正規化された重要度サンプリングの下では、重要度重み付けされた政策勾配は報酬の一定シフトにもはや不変ではない。 この不変性は、報酬と重み付けされたスコアとの共分散を推定として、比が正規化されていない場合の政策勾配と一致するようにして回復する。 このノートは、シーケンスレベルとトークンレベルの重要度サンプリングの両方において、この共分散の観点を発展させる。 共分散パースペクティブは、グループ平均ベースラインの役割と、政策勾配推定を中心としたスコアを明らかにしている。 グループ平均ベースラインはサンプル平均を使用し、スコアセンタリングは人口平均を使用します。 この2つは、異なる分散を持つ非偏微分共分散推定器を導出する。 両方の中心化の形式が同時に使用されるかどうかは、シーケンスレベルで重要サンプリングが適用されるか、トークンレベルで適用されるかによって異なる。 トークンレベルの重要度サンプリングでは、スコア中心のないグループ平均度ベースラインを用いることで、重要度が正規化されると一般的にバイアスが発生する。

関連論文リスト

• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。 標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。 トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
  論文  参考訳（メタデータ） (2026-04-14T09:48:46Z)
• Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification [75.01389991485098]
  リッジ回帰はクラスタ平均ベクトルのスケールによって定性的に異なる挙動を示す。 スケールが非常に大きいレジームでは、良心過剰を許容する条件は回帰タスクと同一であることが判明した。
  論文  参考訳（メタデータ） (2025-03-11T01:45:42Z)
• SoftCVI: Contrastive variational inference with self-generated soft labels [2.5398014196797614]
  変分推論とマルコフ連鎖モンテカルロ法がこのタスクの主要なツールである。 ソフトコントラスト変動推論(SoftCVI)を導入し、コントラスト推定フレームワークを用いて変動対象のファミリーを導出する。 我々は、SoftCVIを用いて、訓練や大量発見に安定な目標を定式化することができ、他の変分アプローチよりも頻繁に優れた推論が可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-22T14:54:12Z)
• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
  ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。 合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
  論文  参考訳（メタデータ） (2023-10-24T01:00:01Z)
• A graphical method of cumulative differences between two subpopulations [0.0]
  本稿では, 比較対象のサブポピュレーションのどのメンバーのスコアも, いずれのサブポピュレーションの他のメンバーのスコアと完全に等しいような共通ケースの手法を開発する。
  論文  参考訳（メタデータ） (2021-08-05T14:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。