論文の概要: Learning Latent Reasoning Traces for Scalar Reward Models End-to-End
- arxiv url: http://arxiv.org/abs/2607.29185v1
- Date: Fri, 31 Jul 2026 09:05:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.66997
- Title: Learning Latent Reasoning Traces for Scalar Reward Models End-to-End
- Title（参考訳）: エンドツーエンドのスカラリワードモデルのための遅延推論トレースの学習
- Abstract要約: リワードモデル(RM)は、強化学習を通じて、大きな言語モデルと人間の好みを整合させることの中心である。
LatentRMは、下流スカラー報酬の可能性を明確に最大化するために、中間推論トレースを離散潜在変数として学習する。
LatentRMは、オープンエンド会話から複雑な推論に至るまでのタスクにおいて、選好モデリングやポリシーアライメントにおいて、スカラー、生成、ハイブリッドRMよりも優れています。
- 参考スコア（独自算出の注目度）: 12.1879321996632
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reward models (RMs) are central to aligning large language models with human preferences via reinforcement learning. Although traditional scalar RMs enable efficient and probabilistic reward modeling, they rely on superficial cues that fail to generalize to complex or out-of-distribution (OOD) tasks. Conversely, generative RMs leverage extensive reasoning to improve robustness on challenging tasks, but their natural language-based scores lack the numerical flexibility and probabilistic interpretability that scalar RMs offer. While recent approaches combine both paradigms through off-policy multi-task learning, such parallel optimization does not guarantee that generated reasoning traces actively align with or benefit downstream scalar reward prediction. To address this mismatch, we propose LatentRM, a reward modeling framework that learns intermediate reasoning traces as discrete latent variables to explicitly maximize the likelihood of downstream scalar rewards. Through on-policy optimization of the latent reasoning space end-to-end, LatentRM tightly couples deep reasoning-based evaluation with precise scoring. Extensive validations on in-distribution and OOD datasets and RLHF show that LatentRM outperforms scalar, generative, and hybrid RMs on preference modeling and policy alignment across tasks ranging from open-ended conversation to complex reasoning.
- Abstract（参考訳）: リワードモデル(RM)は、強化学習を通じて、大きな言語モデルと人間の好みを整合させることの中心である。
従来のスカラーRMは効率的で確率的な報酬モデリングを可能にするが、複雑なタスクやアウト・オブ・ディストリビューション(OOD)に一般化できない表面的なキューに依存している。
逆に、生成的RMは広範囲な推論を利用して困難なタスクの堅牢性を向上させるが、それらの自然言語に基づくスコアはスカラーRMが提供する数値的柔軟性と確率論的解釈性に欠ける。
最近のアプローチでは、両方のパラダイムをオフ・ポリティクスのマルチタスク学習で組み合わせているが、そのような並列最適化は、生成された推論トレースが下流のスカラー報酬予測と積極的に一致するか、利益をもたらすことを保証していない。
このミスマッチに対処するために、下流スカラー報酬の可能性を明確に最大化するために、中間推論トレースを離散潜在変数として学習する報酬モデリングフレームワークであるLatentRMを提案する。
遅延推論空間のエンドツーエンドのオンライン最適化を通じて、LatntRMは正確な評価と深い推論に基づく評価を密に結合する。
In-distriion と OOD データセットと RLHF の広範な検証により、RatntRM はスカラー、生成、ハイブリッドRM よりも、オープンエンドの会話から複雑な推論に至るまでのタスクにおける好みのモデリングとポリシーアライメントに優れることが示された。
関連論文リスト
- Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。
BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。
BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
論文 参考訳（メタデータ） (2026-02-11T08:14:11Z) - Multi-Path Collaborative Reasoning via Reinforcement Learning [54.8518809800168]
CoT(Chain-of-Thought)推論は、LLM(Large Language Models)の問題解決能力を大幅に向上させた。
最近の手法では、連続的な意味空間における推論を可能にするために、ソフトな抽象トークンを生成することでこの問題に対処しようとしている。
提案するM3PO(Multi-Path Perception Policy Optimization)は,推論プロセスに集団的洞察を明示的に注入する,新たな強化学習フレームワークである。
論文 参考訳（メタデータ） (2025-12-01T10:05:46Z) - From <Answer> to <Think>: Multidimensional Supervision of Reasoning Process for LLM Optimization [62.07990937720985]
DRM(Dimension-level Reward Model)は、大規模言語モデルのための新しい監視フレームワークである。
DRMは3つの基本的、相補的、解釈可能な次元に沿って推論プロセスの品質を評価する。
実験の結果、DRMは効果的な監視信号を提供し、LCMの最適化を誘導し、推論能力を向上することが示された。
論文 参考訳（メタデータ） (2025-10-13T14:29:15Z) - Hybrid Latent Reasoning via Reinforcement Learning [50.6763762323985]
大規模言語モデル(LLM)の能力を活用した強化学習(RL)による潜時推論について検討する。
RLをベースとしたハイブリッド潜在推論手法であるハイブリッド推論ポリシー最適化(HRPO)を導入する。
HRPOで訓練されたLLMは解釈可能であり、言語横断パターンや短い完了長といった興味深い挙動を示す。
論文 参考訳（メタデータ） (2025-05-24T01:26:16Z) - Think-RM: Enabling Long-Horizon Reasoning in Generative Reward Models [50.4652276723694]
Think-RMは、高度な機能をサポートするフレキシブルで自己誘導的な推論トレースを生成する。
Think-RM は RM-Bench 上で最先端の結果を達成し,BT RM と GenRM の垂直スケールを8% 上回った。
論文 参考訳（メタデータ） (2025-05-22T05:56:11Z) - Two Minds Better Than One: Collaborative Reward Modeling for LLM Alignment [35.80989342492335]
人間のフィードバックのノイズの多い好みは 報酬の一般化に繋がる
本研究の目的は,報酬モデルにおいて,騒音の嗜好が人間の嗜好とどのように異なるかを明らかにすることである。
我々は、堅牢な選好学習を実現するためのオンラインコラボレーション・リワード・モデリング・フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-15T10:58:20Z) - Unified Multimodal Chain-of-Thought Reward Model through Reinforcement Fine-Tuning [31.727984223052648]
本稿では,最初の統一マルチモーダルCoT型報酬モデルUnifiedReward-Thinkを提案する。
まず、GPT-4oの推論過程を抽出するために、少量の画像生成嗜好データを用いる。
次に、大規模に統一されたマルチモーダル嗜好データを作成し、様々な視覚タスクにわたってモデルの推論プロセスを導出する。
論文 参考訳（メタデータ） (2025-05-06T08:46:41Z) - RM-R1: Reward Modeling as Reasoning [81.50471199906738]
Reasoning Reward Models (ReasRMs) は、報酬モデリングを推論タスクとして定式化する。
我々は推論指向のトレーニングパイプラインを提案し、ReasRMのファミリーであるRM-R1を訓練する。
我々のモデルは、平均して3つの報酬モデルベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-05-05T06:11:12Z) - Towards Hierarchical Multi-Step Reward Models for Enhanced Reasoning in Large Language Models [46.75272311751018]
階層的リワードモデルと呼ばれる新しい報酬モデル手法を提案する。
個々の推論ステップと連続推論ステップを、きめ細かいレベルと粗いレベルの両方で評価する。
これは多段階推論コヒーレンスの評価に優れており、特に欠陥のあるステップが後に自己回帰によって修正される場合である。
論文 参考訳（メタデータ） (2025-03-16T15:18:40Z) - Disentangling Length Bias In Preference Learning Via Response-Conditioned Modeling [87.17041933863041]
RLHF(Reinforcement Learning from Human Feedback)は,大規模言語モデル(LLM)の整合化に成功している。
我々は、長さバイアス軽減と長さ指示に従うモデルの性能を高めるために、$textbfR$esponse-$textbfc$onditioned $textbfB$radley-$textbfT$erry (Rc-BT)モデルを導入する。
また、報酬モデルと直接ポリシー最適化のためにRc-BTモデルを利用するRc-RMおよびRc-DPOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-02-02T14:50:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。