論文の概要: Best Practice Critic Optimization

• arxiv url: http://arxiv.org/abs/2608.23566v2
• Date: Tue, 25 Aug 2026 13:10:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.326656
• Title: Best Practice Critic Optimization
• Title（参考訳）: ベストプラクティスの批評最適化
• Abstract要約: 批判に基づくトレーニングのレシピは、しばしば不安定である。 DPPO,報酬範囲に束縛された値予測,モンテカルロ値の目標,非正規化ポリシの優位性,長さ適応型汎用的優位性推定を組み合わせたレシピを開発した。
• 参考スコア（独自算出の注目度）: 23.2221736020451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Group-based reinforcement learning methods such as GRPO for large language models avoid training a critic by sampling multiple responses for each prompt. A reliable critic could instead estimate token-level advantages from one response, but standard critic-based training recipes are often unstable. We study this instability and develop **Best Practice Critic Optimization (BPCO)**, a recipe that combines DPPO, value predictions bounded to the reward range, Monte Carlo value targets, unnormalized policy advantages, and length-adaptive generalized advantage estimation. Because the critic is used only during training, BPCO can also condition it on reward-defining information, such as a reference answer or grading rubric, that is hidden from the policy. Controlled experiments isolate the effect of each design choice. Across mathematical reasoning tasks with models ranging from 1.5B parameters to 30B-A3B mixtures of experts, BPCO improves a strong critic-based baseline consistently, and matches or exceeds a group-based baseline while sampling one response per prompt. The same recipe also improves learning with rubric-based rewards. These results show that a carefully designed critic provides a reliable alternative to group-relative advantage estimation. Code is available at https://github.com/QPHutu/golden_critic.
• Abstract（参考訳）: 大規模な言語モデルのためのGRPOのようなグループベースの強化学習手法は、各プロンプトに対して複数の応答をサンプリングすることによって、批評家のトレーニングを避ける。 信頼できる批評家は、1つの反応からトークンレベルの利点を見積もることができるが、標準的な批評家ベースのトレーニングレシピは不安定であることが多い。 DPPO,報酬範囲に限定した値予測,モンテカルロ値の目標,非正規化ポリシの優位性,および長さ適応的な一般化された優位性推定を組み合わせたレシピである**Best Practice Critic Optimization (BPCO)*を開発した。 批評家は訓練中にのみ使用されるため、BPCOは報酬定義情報(参考回答やグレーディング・ルーリックなど)を規定することもできる。 制御された実験は、それぞれの設計選択の効果を分離する。 1.5Bパラメータから30B-A3Bのエキスパートの混合モデルによる数学的推論タスク全体にわたって、BPCOは強い批判ベースのベースラインを一貫して改善し、グループベースのベースラインにマッチまたはオーバーし、プロンプト毎に1つのレスポンスをサンプリングする。 同じレシピは、ルーリックベースの報酬で学習を改善する。 これらの結果は、慎重に設計された批評家が、グループ相対的優位性推定の信頼性のある代替手段を提供することを示している。 コードはhttps://github.com/QPHutu/golden_critic.comで入手できる。

関連論文リスト

• Start Classifying: Categorical Critics for LLM Reinforcement Learning [35.51572984401546]
  HL-Gauss PPOは、スカラーMSEヘッドを、離散値サポートよりもカテゴリー予測器で置き換える。 強いPPOとDAPOのベースラインを継続的に改善する。 1ホット、2ホット、ベルヌーイの2ビンの批判による制御は、より大きな出力ヘッドもバイナリ分類も利得を説明できないことを示している。
  論文  参考訳（メタデータ） (2026-08-03T13:05:38Z)
• RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts [84.20747697259326]
  グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。 我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。 我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
  論文  参考訳（メタデータ） (2026-07-20T19:40:25Z)
• BV-Blend: Uncertainty-Weighted Historical Baselines for Stable Critic-Free RL with Verifiable Rewards [17.873016968298483]
  検証可能な報酬(RLVR)による批判のない強化学習は、価値関数(批判)のトレーニングを回避し、メモリと計算オーバーヘッドを低減する。 GRPOスタイルの利点推定は、プロンプト局所(プロンプト群を含む)報酬統計に依存し、不安定である。 本稿では,BV-Blendについて紹介する。BV-Blendは,局所的な地方統計と意味クラスタ条件の歴史的モーメントを組み合わせることで,利点推定を安定化するフレームワークである。
  論文  参考訳（メタデータ） (2026-06-27T03:25:53Z)
• VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
  GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。 アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。 本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-18T09:44:12Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
  学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。 本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
  論文  参考訳（メタデータ） (2026-04-21T14:07:39Z)
• Learning Without Critics? Revisiting GRPO in Classical Reinforcement Learning Environments [1.9559952759908155]
  グループ相対政策最適化(GRPO)は、PPO(Proximal Policy Optimization)に代わるスケーラブルな代替手段として登場した。 本稿では,従来の単一タスク強化学習環境におけるGRPOの体系的研究について述べる。
  論文  参考訳（メタデータ） (2025-11-05T15:01:32Z)
• Asymmetric Proximal Policy Optimization: mini-critics boost LLM reasoning [49.57517969069136]
  Asymmetric Proximal Policy Optimization (AsyPPO) は、大規模なモデル設定で効率を保ちながら、批評家の役割を回復するシンプルでスケーラブルなフレームワークである。 AsyPPOは軽量のミニ批評家を採用しており、それぞれが切り離されたプロンプトシャードで訓練されている。 強力なベースラインを越えて、複数のベンチマークで学習の安定性とパフォーマンスを継続的に改善する。
  論文  参考訳（メタデータ） (2025-10-02T04:24:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。