論文の概要: On Advantage Estimates for Max@K Policy Gradients
- arxiv url: http://arxiv.org/abs/2606.06080v1
- Date: Thu, 04 Jun 2026 12:16:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.781492
- Title: On Advantage Estimates for Max@K Policy Gradients
- Title（参考訳）: Max@K Policy Gradientsのアドバンテージ評価について
- Abstract要約: バッチのメリットを正確に重視しながら、ポリシーの緩やかな偏りを保ちながら、リーフツーアウトのベースラインを導入します。
結果、MaxPOは効率的な二次時間実装を持ち、LLM後学習のためのグループベースRLに自然に統合される。
実験により,L2Oベースラインは勾配のばらつきを低減し,非中心の代替よりも優れることを確認した。
- 参考スコア（独自算出の注目度）: 38.07689739365912
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning with verifiable rewards is widely used for post-training reasoning models, but sparse outcome rewards make exploration difficult. A complementary approach is to optimize inference-time objectives such as pass@K and max@K directly, yet existing policy-gradient estimators for these objectives use different signals, baselines, and normalizations, making their relationships unclear. We study this issue through baseline design and advantage centering. Starting from the advantage estimator of a leading method in the field, we show that it is policy-gradient unbiased but yields a non-centered advantage. We then introduce a Leave-Two-Out baseline that preserves policy-gradient unbiasedness while making realized batch advantages exactly centered. The resulting method, MaxPO, has an efficient quadratic-time implementation and integrates naturally into group-based RL for LLM post-training. We further derive the canonical finite-batch advantage for max@K, providing a unified view of existing advantage estimators. Empirically, we verify that the L2O baseline reduces gradient variance and outperforms non-centered alternatives.
- Abstract（参考訳）: 検証可能な報酬を伴う強化学習は、訓練後の推論モデルに広く用いられているが、希少な結果報酬は探索を困難にしている。
補完的なアプローチとして、pass@Kやmax@Kなどの推論時間の目的を直接最適化するが、これらの目的のための既存のポリシー勾配推定器では、異なる信号、ベースライン、正規化を使用しており、それらの関係は不明確である。
我々はこの問題をベースライン設計とアドバンテージセンタリングを通じて研究する。
この分野の先導的手法の利点推定器から、政策段階の偏りがないが、非中心的優位性をもたらすことを示す。
次に、リーフツーアウトベースラインを導入します。これは、ポリシーの段階的な不偏性を維持しつつ、バッチのメリットを正確に重視します。
結果、MaxPOは効率的な二次時間実装を持ち、LLM後学習のためのグループベースRLに自然に統合される。
さらに、max@K に対する標準有限バッチの利点を導出し、既存の利点推定器の統一的なビューを提供する。
実験により,L2Oベースラインは勾配のばらつきを低減し,非中心の代替よりも優れることを確認した。
関連論文リスト
- BiasGRPO: Stabilizing Bias Mitigation in High-Variance Reward Landscapes via Group-Relative Policy Optimization [23.13988703785064]
大規模言語モデル(LLM)における社会的バイアスの緩和は、異なるアライメントの課題を示す。
直接選好最適化(DPO)は、オフライントレーニングに固有の探索の欠如によって制限される。
PPO(Proximal Policy Optimization)は、潜在的に信頼性の低い批評家の推定により、トレーニング不安定につながる可能性がある。
論文 参考訳（メタデータ） (2026-06-03T12:31:42Z) - One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。
本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。
実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
論文 参考訳（メタデータ） (2026-05-21T08:25:27Z) - ReNCE: Learning to Reason by Noise Contrastive Estimation [7.590073864595161]
GRPOは、事前訓練されたLLMに推論機能を持たせるための標準的なアプローチである。
優位性を推定する代わりに、正と負の集合に$K$の結果を二分する。
論文 参考訳（メタデータ） (2026-01-30T00:57:31Z) - Asymmetric Proximal Policy Optimization: mini-critics boost LLM reasoning [49.57517969069136]
Asymmetric Proximal Policy Optimization (AsyPPO) は、大規模なモデル設定で効率を保ちながら、批評家の役割を回復するシンプルでスケーラブルなフレームワークである。
AsyPPOは軽量のミニ批評家を採用しており、それぞれが切り離されたプロンプトシャードで訓練されている。
強力なベースラインを越えて、複数のベンチマークで学習の安定性とパフォーマンスを継続的に改善する。
論文 参考訳（メタデータ） (2025-10-02T04:24:27Z) - PVPO: Pre-Estimated Value-Based Policy Optimization for Agentic Reasoning [6.050409262589219]
本稿では,アドバンスト参照アンカーとデータ事前サンプリングによって強化された効率的な強化学習手法であるPVPOを提案する。
本手法は,グループ内比較によって生じる累積バイアスを効果的に補正し,トレーニング中のロールアウト数への依存を著しく低減する。
このアプローチは,複数のタスクにまたがる堅牢な一般化を示すだけでなく,さまざまなスケールのモデルにまたがるスケーラブルなパフォーマンスを示す。
論文 参考訳（メタデータ） (2025-08-28T09:18:26Z) - A Principled Loss Function for Direct Language Model Alignment [0.0]
本稿では,RLHF最適条件から直接導出した新しい損失関数を提案する。
提案した損失は,その差ではなく,基礎となる報酬によって規定される,ロジットの特定の有限値を対象としている。
この固有の安定性は、報酬のハッキングを防ぎ、より効果的なアライメントをもたらす。
論文 参考訳（メタデータ） (2025-08-10T01:56:58Z) - Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。
A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。
PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
論文 参考訳（メタデータ） (2025-05-27T03:58:50Z) - Provable Offline Preference-Based Reinforcement Learning [95.00042541409901]
本研究では,PbRL(Preference-based Reinforcement Learning)の問題について,人間のフィードバックを用いて検討する。
我々は、報酬が軌道全体にわたって定義できる一般的な報酬設定について考察する。
我々は, 軌道毎の集中性によって上界に拘束できる新しい単極集中係数を導入する。
論文 参考訳（メタデータ） (2023-05-24T07:11:26Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。