論文の概要: R-Align: Enhancing Generative Reward Models through Rationale-Centric Meta-Judging

• arxiv url: http://arxiv.org/abs/2602.06763v1
• Date: Fri, 06 Feb 2026 15:17:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.437605
• Title: R-Align: Enhancing Generative Reward Models through Rationale-Centric Meta-Judging
• Title（参考訳）: R-Align:Rationale-Centric Meta-Judgingによる生成的リワードモデルの実現
• Authors: Yanlin Lai, Mitt Huang, Hangyu Guo, Xiangfeng Wang, Haodong Li, Shaoxiong Zhan, Liang Zhao, Chengyuan Yao, Yinmin Zhang, Qi Han, Chun Yuan, Zheng Ge, Xiangyu Zhang, Daxin Jiang,
• Abstract要約: 解析精度は, 標準ラベルの精度を超えて, 下流RLHFの結果を高い精度で予測できることが示される。 我々は,金の判断でトレーニングを増強し,合理的アライメントを明示的に監督するR-Alignを提案する。
• 参考スコア（独自算出の注目度）: 69.96389360650072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning from Human Feedback (RLHF) remains indispensable for aligning large language models (LLMs) in subjective domains. To enhance robustness, recent work shifts toward Generative Reward Models (GenRMs) that generate rationales before predicting preferences. Yet in GenRM training and evaluation, practice remains outcome-label-only, leaving reasoning quality unchecked. We show that reasoning fidelity-the consistency between a GenRM's preference decision and reference decision rationales-is highly predictive of downstream RLHF outcomes, beyond standard label accuracy. Specifically, we repurpose existing reward-model benchmarks to compute Spurious Correctness (S-Corr)-the fraction of label-correct decisions with rationales misaligned with golden judgments. Our empirical evaluation reveals substantial S-Corr even for competitive GenRMs, and higher S-Corr is associated with policy degeneration under optimization. To improve fidelity, we propose Rationale-Centric Alignment, R-Align, which augments training with gold judgments and explicitly supervises rationale alignment. R-Align reduces S-Corr on RM benchmarks and yields consistent gains in actor performance across STEM, coding, instruction following, and general tasks.
• Abstract（参考訳）: Reinforcement Learning from Human Feedback (RLHF) は、主観的ドメインにおける大きな言語モデル(LLM)の整合に必要である。 堅牢性を高めるため、最近の作業は、好みを予測する前に合理性を生成するジェネレーティブ・リワード・モデル(GenRM)へとシフトしている。 しかし、GenRMのトレーニングと評価では、実践は結果ラベルのみであり、推論の品質は未確認のままである。 我々は、GenRMの選好決定と基準決定論理との整合性の推論が、標準ラベル精度を超えて下流RLHFの結果を高い精度で予測可能であることを示す。 具体的には、既存の報酬モデルベンチマークを用いてSpurious Correctness(S-Corr)を計算する。 我々の経験的評価では、競争力のあるGenRMでもS-Corrが顕著であり、より高いS-Corrは最適化の下での政策劣化と関連している。 そこで本研究では,金判定によるトレーニングを増強し,合理的アライメントを明確に監督するRationale-Centric Alignment, R-Alignを提案する。 R-AlignはRMベンチマークのS-Corrを削減し、STEM、コーディング、命令追従、一般的なタスクでアクターのパフォーマンスが一貫して向上する。

関連論文リスト

• Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models [108.26461635308796]
  Rationale Consistencyは、モデルの推論プロセスと人間の判断のアライメントを定量化する、きめ細かい計量である。 我々のフロンティアモデルの評価では,最先端モデル間で合理的な一貫性が効果的に識別できることが示されている。 我々は、GenRMトレーニングの合理性一貫性と結果精度を組み合わせたハイブリッド信号を導入する。
  論文  参考訳（メタデータ） (2026-02-04T15:24:52Z)
• Rewarding the Journey, Not Just the Destination: A Composite Path and Answer Self-Scoring Reward Mechanism for Test-Time Reinforcement Learning [29.778703252962092]
  大規模言語モデル(LLM)の進化のための強力なパラダイムとして強化学習(RL)が登場した。 外部の監督なしに動作する新しいテストタイム報酬機構を開発した。
  論文  参考訳（メタデータ） (2025-10-20T07:53:51Z)
• OpenRubrics: Towards Scalable Synthetic Rubric Generation for Reward Modeling and LLM Alignment [38.1645520104553]
  OpenRubricsは,ルーブリック世代とルーブリックベースの報酬モデルをトレーニングするための,大規模な(プロンプト,エクスプリシット)ペアのコレクションである。 識別的・包括的評価信号を引き出すために,優先的・拒否的な応答を対比することにより,厳格な規則(単純質)と原則(簡易品質)の両方を導出するコントラスト生成(CRG)を導入する。 この結果から,ごみは費用対人評価と自動報酬モデリングのギャップを狭めるような,スケーラブルなアライメント信号を提供することがわかった。
  論文  参考訳（メタデータ） (2025-10-09T03:31:26Z)
• Writing-Zero: Bridge the Gap Between Non-verifiable Tasks and Verifiable Rewards [11.149294285483782]
  我々は、検証不可能なタスクと検証可能な報酬のギャップを埋める統一的なRLVRベースのトレーニングパラダイムを提案する。 本稿では,GenRMとBootstrapped Relative Policy Optimization (BRPO)アルゴリズムを提案する。 提案手法は,LLMが微調整を監督せずに堅牢な書込み機能を開発する上で有効である。
  論文  参考訳（メタデータ） (2025-05-30T14:34:57Z)
• RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
  RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。 提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。 実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
  論文  参考訳（メタデータ） (2025-05-28T14:55:33Z)
• Think-RM: Enabling Long-Horizon Reasoning in Generative Reward Models [50.4652276723694]
  Think-RMは、高度な機能をサポートするフレキシブルで自己誘導的な推論トレースを生成する。 Think-RM は RM-Bench 上で最先端の結果を達成し,BT RM と GenRM の垂直スケールを8% 上回った。
  論文  参考訳（メタデータ） (2025-05-22T05:56:11Z)
• Prior Constraints-based Reward Model Training for Aligning Large Language Models [58.33118716810208]
  本稿では,この問題を解決するために,事前制約に基づくリワードモデル(PCRM)のトレーニング手法を提案する。 PCRMは、前回の制約、特に各比較ペアの出力間の長さ比とコサイン類似性を、最適化の規模を調節しスコアマージンを制御するための報酬モデルトレーニングに組み入れている。 実験結果から,PCRMは報酬スコアのスケーリングを効果的に抑制することによりアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-01T07:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。