論文の概要: ABC: Advantage-Based Control Variates for Reinforcement Learning with Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2609.36058v1
• Date: Mon, 28 Sep 2026 18:16:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 04:28:51.318865
• Title: ABC: Advantage-Based Control Variates for Reinforcement Learning with Verifiable Rewards
• Title（参考訳）: ABC: 検証可能なリワードを用いた強化学習のためのアドバンテージベースの制御変数
• Abstract要約: 検証可能な報酬を用いた強化学習(RLVR)の最近の進歩は、グループ相対的政策最適化(GRPO)のような単純な批判のない政策段階の手法の有効性を強調している。 対照的にアクター批判法は、時間差誤差のような一般的な利点推定器を通じて近似誤差がバイアスをもたらすことができる学習値関数に依存している。 ABC(Advantage-Based Control Variates)は,より少ないオンライン最適化ステップを用いて,GRPOと競合する性能を実現する。
• 参考スコア（独自算出の注目度）: 48.86250215151643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in reinforcement learning with verifiable rewards (RLVR) has highlighted the effectiveness of simple critic-free policy-gradient methods such as Group Relative Policy Optimization (GRPO). In contrast, actor-critic methods rely on learned value functions whose approximation error can introduce bias through commonly used advantage estimators such as temporal-difference error. Motivated by this observation, we revisit trajectory-level control variates through an advantage-value formulation, which we call Advantage-Based Control Variates (ABC). This formulation reveals that the covariance structure is closely related to the return decomposition used in Direct Advantage Estimation (DAE). Finally, we combine ABC with DAE into a single actor-critic algorithm and evaluate it in an offline-to-online RLVR setting, where the critic is first trained on previously collected trajectories and adapted during online learning. On mathematical reasoning tasks, ABC achieves performance competitive with GRPO using substantially fewer online optimization steps.
• Abstract（参考訳）: 検証可能な報酬を用いた強化学習(RLVR)の最近の進歩は、グループ相対政策最適化(GRPO)のような単純な批判のない政策段階の手法の有効性を強調している。 対照的にアクター批判法は、時間差誤差のような一般的な利点推定器を通じて近似誤差がバイアスをもたらすことができる学習値関数に依存している。 この観測により,我々は,Advantage-Based Control Variates (ABC) と呼ばれるアドバンテージ値の定式化により,軌道レベルの制御変数を再検討した。 この定式化は、共分散構造が直接アドバンテージ推定(DAE)で用いられる帰納分解と密接に関連していることを明らかにする。 最後に、ABCとDAEを1つのアクター批判アルゴリズムに組み合わせ、オフラインからオンラインのRLVR設定で評価する。 数学的な推論タスクにおいて、ABCはGRPOと競合する性能を達成する。

関連論文リスト

• VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
  GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。 アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。 本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-18T09:44:12Z)
• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
  学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。 本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
  論文  参考訳（メタデータ） (2026-04-21T14:07:39Z)
• Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training [29.56905427210088]
  Gragient-ARMは、好みのフィードバックから強化学習を使用するルーリックジェネレータとジャッジを共同で最適化するフレームワークである。 ベンチマークのベースライン間で、勾配-ARMは最先端のパフォーマンスを達成し、オフラインおよびオンラインの強化学習設定において、ダウンストリームポリシーアライメントを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2026-02-02T00:50:53Z)
• PVPO: Pre-Estimated Value-Based Policy Optimization for Agentic Reasoning [6.050409262589219]
  本稿では,アドバンスト参照アンカーとデータ事前サンプリングによって強化された効率的な強化学習手法であるPVPOを提案する。 本手法は,グループ内比較によって生じる累積バイアスを効果的に補正し,トレーニング中のロールアウト数への依存を著しく低減する。 このアプローチは,複数のタスクにまたがる堅牢な一般化を示すだけでなく,さまざまなスケールのモデルにまたがるスケーラブルなパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-08-28T09:18:26Z)
• Prior Constraints-based Reward Model Training for Aligning Large Language Models [58.33118716810208]
  本稿では,この問題を解決するために,事前制約に基づくリワードモデル(PCRM)のトレーニング手法を提案する。 PCRMは、前回の制約、特に各比較ペアの出力間の長さ比とコサイン類似性を、最適化の規模を調節しスコアマージンを制御するための報酬モデルトレーニングに組み入れている。 実験結果から,PCRMは報酬スコアのスケーリングを効果的に抑制することによりアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-01T07:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。