論文の概要: Le Critique: Privileged Value Functions for LLM Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.16739v1
• Date: Mon, 17 Aug 2026 15:49:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.785946
• Title: Le Critique: Privileged Value Functions for LLM Reinforcement Learning
• Title（参考訳）: Le Critique: LLM強化学習のためのプライマリバリュー関数
• Abstract要約: 大規模言語モデル(LLM)の強化学習アルゴリズムは,その分散化戦略によって大きく区別される。 GRPOのようなグループ相対的手法は、プロンプト毎に複数のロールアウトをサンプリングすることで勾配分散を減少させるが、シーケンスレベルクレジットのみを提供する。 本稿では,値関数RLの性能向上のための2つの補完戦略を提案する。
• 参考スコア（独自算出の注目度）: 19.187738387494438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning algorithms for Large Language Models (LLMs) are largely distinguished by their variance reduction strategy. Group-relative methods like GRPO reduce gradient variance by sampling multiple rollouts per prompt, but provide only sequence-level credit. Training is also blocked by straggler rollouts, reducing throughput and increasing off-policyness. Learned value functions theoretically address both problems, providing token-level advantages without requiring large groups. However, additional infrastructure engineering challenges combined with the practical success of critic-free methods have made it difficult to justify their inclusion in RL pipelines. We propose two complementary strategies to improve the performance of value function RL: 1) Privileged Value Functions (PVF) which provide an elegant mechanism to inject additional task-relevant token-level signal without biasing the policy objective; 2) TETHER, a baseline that adaptively interpolates between group-relative and value baselines depending on the value function accuracy. Across several reasoning tasks, both strategies consistently improve over the standard value function baseline, and are competitive with or outperform mean-baseline GRPO.
• Abstract（参考訳）: 大規模言語モデル(LLM)の強化学習アルゴリズムは,その分散化戦略によって大きく区別される。 GRPOのようなグループ相対的手法は、プロンプト毎に複数のロールアウトをサンプリングすることで勾配分散を減少させるが、シーケンスレベルクレジットのみを提供する。 トレーニングもトラグラーのロールアウトによってブロックされ、スループットが低下し、非政治性も向上する。 学習された値関数は両方の問題に理論的に対処し、大きなグループを必要としないトークンレベルの利点を提供する。 しかし、批判のない手法の実践的な成功と相まって、インフラエンジニアリングのさらなる課題は、RLパイプラインへの導入を正当化することを困難にしている。 本稿では,値関数RLの性能向上のための2つの補完戦略を提案する。 1) 政策目標を逸脱することなく、追加のタスク関連トークンレベルの信号を注入するエレガントなメカニズムを提供する主観的価値関数(PVF) 2) TETHERは,値関数の精度に応じて,グループ相対性と値基底線を適応的に補間するベースラインである。 いくつかの推論タスクの中で、どちらの戦略も標準値関数のベースラインよりも一貫して改善され、平均ベースラインGRPOと競合する。

関連論文リスト

• Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning [76.93011742289768]
  強い言語モデルから弱い言語モデルへの推論能力の蒸留は、典型的には特定の解軌跡を模倣する。 この軌道レベルの模倣は、伝達可能な問題解決スキルの獲得よりも、インスタンス固有のステップの記憶を促進する。 再利用可能な戦略蒸留にインスタンスレベルの軌道模倣を置き換えた戦略誘導型政策最適化を提案する。
  論文  参考訳（メタデータ） (2026-06-23T02:14:12Z)
• Rethinking Groups in Critic-Free RLVR [22.22297138402367]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルの訓練後の中心パラダイムとなっている。 既存の批判のないRLメソッドは、通常同じ質問に対してロールアウトのグループを生成する。 基礎となる機能は, 基準線を推定するだけでなく, 負のサンプルに対する偽の罰則を防ぐことにある。
  論文  参考訳（メタデータ） (2026-06-15T19:49:42Z)
• Are complicated loss functions necessary for teaching LLMs to reason? [0.16383644639245779]
  グループ相対政策最適化は、大規模言語モデル(LLM)において有望であることを示す。 ReINFORCE with Group Relative Advantage (RGRA) は、グループ相対的優位性を保ちつつ、PPOスタイルのクリッピングとポリシー比の項を除去する単純化された変種である。 以上の結果から,よりシンプルなREINFORCEベースのアプローチはLLMの推論を効果的に促進し,GRPOのより透明で効率的な代替手段を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-03-19T11:06:49Z)
• What Makes Value Learning Efficient in Residual Reinforcement Learning? [57.635661297706065]
  残留強化学習(Residual reinforcement learning, RL)は、ベースを凍結し、境界修正のみを学習することにより、表現的事前訓練政策の安定したオンライン改善を可能にする。 本研究では,冷戦開始の病理学において,批判者が基本方針に関する価値景観の知識を欠いている点と,構造的スケールミスマッチという2つの主要なボトルネックを同定する。 残差RLにおける効率的な値学習を目的とした最小限のアプローチであるDAWNを提案する。
  論文  参考訳（メタデータ） (2026-02-11T05:25:39Z)
• Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers [55.33468902405567]
  本稿では、事前学習とデプロイの両方が好みのフィードバックにのみ依存する新しい学習パラダイム、In-Context Preference-based Reinforcement Learning (ICPRL)を提案する。 ICPRLは、厳密なコンテキスト内一般化を可能にし、完全な報酬管理で訓練されたICRLメソッドに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-09T03:42:16Z)
• CoBA-RL: Capability-Oriented Budget Allocation for Reinforcement Learning in LLMs [31.371566320424552]
  CoBA-RLは、モデルの進化能力に基づいて、ロールアウト予算を適応的に割り当てるように設計された強化学習アルゴリズムである。 我々のアプローチは、探索と搾取の間のトレードオフを効果的に編成し、一貫した一般化の改善を提供する。
  論文  参考訳（メタデータ） (2026-02-03T03:14:36Z)
• Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
  強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。 しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。 本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-03T13:05:32Z)
• The Peril of Preference: Why GRPO fails on Ordinal Rewards [0.8937905773981699]
  我々は、この欠陥を解決する新しい定式化であるCoRPO(Correctness Relative Policy Optimization)を導入する。 CoRPOは適応ベースラインを使用し、最小品質の閾値を強制する。 コード検証タスクにおいて、CoRPOを実証的に検証し、より安定した収束とドメイン外一般化を実証する。
  論文  参考訳（メタデータ） (2025-11-06T15:12:50Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• DisCO: Reinforcing Large Reasoning Models with Discriminative Constrained Optimization [50.91849555841057]
  グループ相対政策最適化は大規模推論モデル(LRM)の強化学習手法である 差別学習の原則を基礎として, LRMの強化のための新たな差別的制約付き最適化フレームワークを導入する。 DisCO は GRPO と DAPO などの改良型を著しく上回り、GRPO の7%、DAPO の6% を平均的に上回っている。
  論文  参考訳（メタデータ） (2025-05-18T11:08:32Z)
• Token-Efficient RL for LLM Reasoning [0.02488650627593658]
  本稿では,大規模言語モデル (LLM) において,厳密なメモリと計算限界下での推論に適した強化学習戦略を提案する。 ベースラインサブトラクションを用いた早期ポリシー勾配法に基づいて,出力トークンの小さな情報サブセット上で動作する批判のない手法を設計する。 提案手法は,SVAMPベンチマークの精度を46%から70%以上に向上し,マルチ桁乗算において高い性能を示した。
  論文  参考訳（メタデータ） (2025-04-29T14:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。