論文の概要: Bringing Value Models Back: Generative Critics for Value Modeling in LLM Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2604.10701v1
• Date: Sun, 12 Apr 2026 15:54:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.18037
• Title: Bringing Value Models Back: Generative Critics for Value Modeling in LLM Reinforcement Learning
• Title（参考訳）: 価値モデルを取り戻す: LLM強化学習における価値モデリングのための生成的批判
• Authors: Zikang Shan, Han Zhong, Liwei Wang, Li Zhao,
• Abstract要約: 信用割当は強化学習(RL)における中心的課題である 本稿では,1ショットスカラー値の予測を生成評論家に置き換えるジェネラティブ・アクター・クリティカル(Generative Actor-Critic, GenAC)を提案する。 GenACは、値近似、ランキング信頼性、アウト・オブ・ディストリビューションの一般化を改善している。
• 参考スコア（独自算出の注目度）: 18.371323066068104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Credit assignment is a central challenge in reinforcement learning (RL). Classical actor-critic methods address this challenge through fine-grained advantage estimation based on a learned value function. However, learned value models are often avoided in modern large language model (LLM) RL because conventional discriminative critics are difficult to train reliably. We revisit value modeling and argue that this difficulty is partly due to limited expressiveness. In particular, representation complexity theory suggests that value functions can be hard to approximate under the one-shot prediction paradigm used by existing value models, and our scaling experiments show that such critics do not improve reliably with scale. Motivated by this observation, we propose Generative Actor-Critic (GenAC), which replaces one-shot scalar value prediction with a generative critic that performs chain-of-thought reasoning before producing a value estimate. We further introduce In-Context Conditioning, which helps the critic remain calibrated to the current actor throughout training. GenAC improves value approximation, ranking reliability, and out-of-distribution generalization, and these gains translate into stronger downstream RL performance than both value-based and value-free baselines. Overall, our results suggest that stronger value modeling is a promising direction for improving credit assignment in LLM reinforcement learning.
• Abstract（参考訳）: 信用割当は強化学習(RL)における中心的な課題である。 古典的アクター批判法は、学習された値関数に基づいたきめ細かい利点推定によってこの問題に対処する。 しかし、従来の差別的批判者は確実に訓練することが難しいため、学習された価値モデルは現代の大言語モデル(LLM) RLでは避けられがちである。 我々は価値モデリングを再考し、この難しさは部分的には表現力の制限によるものであると主張している。 特に、表現複雑性理論は、既存の値モデルで用いられるワンショット予測パラダイムの下では、値関数の近似が困難であることを示している。 本研究の目的は,1ショットのスカラー値の予測を,価値推定を生成する前に連鎖推論を行う生成評論家に置き換えるジェネラティブ・アクタ・クリティカル(Generative Actor-Critic, GenAC)を提案することである。 さらに、トレーニングを通じて、批評家が現在のアクターに調整され続けるのに役立つIn-Context Conditioningを紹介します。 GenACは、値近似、ランキング信頼性、アウト・オブ・ディストリビューションの一般化を改善し、これらのゲインは、値ベースのベースラインと値のないベースラインの両方よりも、より強力な下流RLパフォーマンスに変換する。 以上の結果から,LLM強化学習における信用割当の改善には,より強力な価値モデリングが有望な方向であることが示唆された。

関連論文リスト

• Context-Value-Action Architecture for Value-Driven Large Language Model Agents [15.830984215635008]
  大規模言語モデル(LLM)は人間の振舞いをシミュレートする可能性を示しているが、既存のエージェントはしばしば振舞いの剛性を示す。 本研究では,Stimulus-Organism-Response(S-O-R)モデルとSchwartz氏の基本的人的価値理論に基づくコンテキスト-バリュー-アクションアーキテクチャを提案する。 本手法は, より優れた行動忠実性と解釈可能性を提供しながら, 偏光を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-04-07T14:34:20Z)
• $V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts [81.48669089692189]
  一般値モデル(例えば$V_0.5$)は、コンテキスト内のモデル機能を明示的にエンコードすることで、事前訓練された値推定を実現する。 本稿では,このような値モデルにより予測されるベースラインと,スパースロールアウトから導出される経験的平均とを適応的に融合する$V_0.5$を提案する。 V_0.5$はGRPOとDAPOを大きく上回り、より高速な収束と約10%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-03-11T14:57:41Z)
• Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
  非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。 BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。 BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-11T08:14:11Z)
• LLaVA-Critic-R1: Your Critic Model is Secretly a Strong Policy Model [99.71684530652942]
  LLaVA-Critic-R1は高い評価を受けた批評家としてだけでなく、競争政策モデルとしても現れることを示す。 テスト時に自己批判を適用すると、5つの代表的な推論タスクに対して平均+13.8%の改善が得られる。 その結果,評価と生成の両面において優れた統一モデルが得られることがわかった。
  論文  参考訳（メタデータ） (2025-08-31T03:08:02Z)
• Model Steering: Learning with a Reference Model Improves Generalization Bounds and Scaling Laws [52.10468229008941]
  本稿では,戦略データの選択や重み付けを通じて,対象モデルのトレーニングを指導・強化するための基準として,訓練モデルを用いた新たな学習パラダイムを定式化する。 提案手法は,参照モデルを持たないトレーニングと比較して,一般化とデータの効率性を改善する理由に関する理論的知見を提供する。 これらの知見に基づいて,DRRho-CLIPと呼ばれる参照モデルを用いたコントラスト言語-画像事前学習手法を提案する。
  論文  参考訳（メタデータ） (2025-05-10T16:55:03Z)
• Teaching Language Models to Critique via Reinforcement Learning [59.36253627145115]
  我々は、textttCTRL$でトレーニングされた批評家が、パスレートを大幅に向上し、ベースモデルとより強力なジェネレータモデルの両方でエラーを軽減することを示した。 また、これらの批判モデルが正確な生成報酬モデルとして機能し、反復的批評・修正によるテストタイムスケーリングを可能にすることを示す。
  論文  参考訳（メタデータ） (2025-02-05T02:18:46Z)
• Rethinking and Recomputing the Value of Machine Learning Models [16.06614967567121]
  機械学習モデルをトレーニングし評価する一般的なアプローチは、現実のアプリケーションを考えるのに失敗することが多い、と私たちは主張する。 精度やfスコアといった従来のメトリクスは、このようなハイブリッドな設定でモデルの有益な価値を捉えることができません。 本稿では, 予測, 誤り, 拒絶に対するタスク固有のコストを組み込んだ, 単純かつ理論的に健全な"値"メトリックを提案する。
  論文  参考訳（メタデータ） (2022-09-30T01:02:31Z)
• Value Gradient weighted Model-Based Reinforcement Learning [28.366157882991565]
  モデルベース強化学習(MBRL)は、制御ポリシーを得るための効率的な手法である。 VaGraMは価値認識モデル学習の新しい手法である。
  論文  参考訳（メタデータ） (2022-04-04T13:28:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。