論文の概要: Scaling Laws for Generative Reward Models

• arxiv url: http://arxiv.org/abs/2610.30765v1
• Date: Thu, 22 Oct 2026 05:37:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.226292
• Title: Scaling Laws for Generative Reward Models
• Title（参考訳）: 生成的リワードモデルのためのスケーリング法則
• Abstract要約: 本稿では,創造的執筆における政策最適化のためのオンライン選好プロバイダとして生成報酬モデル(GenRM)について検討する。 Qwen3の報酬モデルのサイズは0.6Bから14Bまでで、GRPOで訓練されたシンキングの審査員は、SFTで訓練されたアンスワー・オンリーの審査員よりも高い静的なゴールドラベルの精度を持つ。
• 参考スコア（独自算出の注目度）: 11.722767058795418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study generative reward models (GenRMs) as online preference providers for policy optimization in creative writing. Across Qwen3 reward-model sizes from 0.6B to 14B, Thinking judges trained with GRPO have higher static Gold-label accuracy than Answer-Only judges trained with SFT. This ranking often reverses when the judges train policies through online DPO: Answer-Only rewarders yield higher peak and top-five-average policy Elo in seven of eight matched settings under a fixed, learned 32B Gold evaluator. Intermediate Thinking-judge checkpoints can also outperform later, more statically accurate checkpoints as rewarders. Sweeps over rewarder size, policy size, training duration and DPO regularization show substantial benefits from reward-model capacity, including judges larger than the policy. We analyze trajectories with evaluator-specific Elo arenas, conditional match-resampling intervals and descriptive scaling fits. These results demonstrate an evaluator-rewarder gap in the studied pipelines: fixed-distribution judging accuracy does not determine downstream optimization quality. The comparison changes judge-training objective as well as response format, and the main ranking is conditional on its learned reference rather than a universal human-quality result. A limited follow-up using a different learned judge is inconclusive overall.
• Abstract（参考訳）: 本稿では,創造的執筆における政策最適化のためのオンライン選好プロバイダとして生成報酬モデル(GenRM)について検討する。 Qwen3の報酬モデルのサイズは0.6Bから14Bまでで、GRPOで訓練されたシンキングの審査員は、SFTで訓練されたアンスワー・オンリーの審査員よりも高い静的なゴールドラベルの精度を持つ。 Answer-Only rewarders yield higher peak and top-5-average policy Elo in 7 each matched settings under a fixed, learned 32B Gold evaluator。 中間的なシンキング・ジャッジチェックポイントは、後ほどパフォーマンスが良く、より静的に正確なチェックポイントが報奨者として動作する。 報酬者数、政策規模、訓練期間、DPO正規化に関する調査は、ポリシーよりも大きい審査員を含む報酬モデル能力のかなりの恩恵を示している。 我々は,評価器固有のエロアリーナ,条件付きマッチングサンプリング間隔,記述的スケーリング適合を用いてトラジェクトリを分析する。 これらの結果から, 実験パイプラインにおける評価器-回帰器のギャップが示される: 固定分布判定精度は下流最適化の品質を決定できない。 この比較は、判定訓練対象と応答形式を変更し、主ランキングは、普遍的な人間品質の結果ではなく、学習基準に基づいて条件付けされる。 異なる学習した裁判官を使った限られたフォローアップは、全体としては決定的ではない。

関連論文リスト

• ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
  検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
  論文  参考訳（メタデータ） (2026-10-17T07:19:05Z)
• Rubrics from the Task, Verdicts from Evidence: Pointwise Rubric Rewards with Tool-Augmented Judges [5.6314567092029355]
  本稿では,厳格な規則と格付けされた原則を導出し,命令のみを推論するポイントワイドルーブリックであるReVeRを提案する。 実験により、ReVeRは平均的な選好精度でペアワイズルーリックよりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-10-13T17:27:23Z)
• Uncertainty-Normalized Margins for Direct Preference Optimization [5.844092169914025]
  直接選好最適化(DPO)は、選好強度や即時依存の不確かさを明示的に考慮せずにバイナリ選好をモデル化する。 本稿では, 強度依存的マージンと学習的即効性尺度を組み合わせた不確実性正規化マージンDPOを提案する。 ULNM-DPO-WRは各応答の暗黙の報酬をその長さで正規化し、一致したDPOに対してタイ調整された勝利率を達成することを示す。
  論文  参考訳（メタデータ） (2026-09-29T23:08:57Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• When RLHF Fails: A Mechanistic Taxonomy of Reward Hacking, Collapse, and Evaluator Gaming [0.0]
  近似ポリシ最適化(PPO)を用いたコンパクトRLHFパイプラインの失敗モードに関する実証的研究について述べる。 我々は、学習した報酬の方向、判定スコア、および平均判定スコアを用いて、チェックポイント間の一致した遷移を分類する。 ROC-AUC 0.821による将来の行レベルの報酬ハッキングを予測し、行レベルの分析では、チェックポイント平均が12の3つの設定で見逃すような局所的な報酬ハックが見つかる。
  論文  参考訳（メタデータ） (2026-06-02T06:55:52Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。