論文の概要: Diffusion Reward Models

• arxiv url: http://arxiv.org/abs/2609.33803v2
• Date: Tue, 29 Sep 2026 03:19:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.692728
• Title: Diffusion Reward Models
• Title（参考訳）: 拡散リワードモデル
• Abstract要約: DRMはDiffusion Reward Modelで、$p(mathbfrmid x,y)$以上の条件密度推定として報酬モデルを再キャストする。 単一のアーキテクチャは、多属性回帰とペアワイズ選好データの両方を処理し、$N$サンプルでの推論は、スカラー、分散、量子化に集約できる経験的な報酬分布を形成する。 5つのベンチマークで、DRMは一致したデータとバックボーンの下でベースラインにマッチまたはオーバーし、より大きな差別的、分布的、生成的RMと競争し続け、従来のヘッドを持つマルチモーダル報酬構造を回復する。
• 参考スコア（独自算出の注目度）: 56.078040107894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward models underpin the alignment of large language models, yet the dominant designs reduce each prompt--response pair to a point estimate or to a distribution from a fixed parametric family. This is at odds with human preference, which is inherently multimodal: the same response can be reasonably judged in many ways, and no single family covers all of them. To better fit this structure, we introduce DRM, a Diffusion Reward Model that recasts reward modeling as conditional density estimation over $p(\mathbf{r}\mid x,y)$. Conditioned on a frozen LLM encoder, a lightweight Diffusion Transformer denoises Gaussian noise into a reward vector, placing no parametric assumption on the output distribution and naturally representing its multimodal structure. A single architecture handles both multi-attribute regression and pairwise preference data, and at inference $N$ samples form an empirical reward distribution that can be aggregated into a scalar, a variance, or quantiles. Across five benchmarks, DRM matches or surpasses baselines under matched data and backbone, stays competitive with much larger discriminative, distributional, and generative RMs despite its modest training scale, and recovers multimodal reward structure where conventional heads collapse to a point. Uncertainty-aware rejection and lower-confidence-bound (LCB) aggregation further demonstrate that DRM can exploit distributional information beyond a scalar reward to improve reward-model decisions. Downstream RLHF experiments additionally show that using DRM as the training-time reward leads to improved policy performance, directly validating the practical benefit of diffusion-based reward modeling for RLHF training.
• Abstract（参考訳）: 逆モデルは大きな言語モデルのアライメントを支えるが、支配的な設計は各プロンプト対を点推定や固定パラメトリック族からの分布に還元する。 これは人間の好みに反するものであり、本質的にはマルチモーダルであり、同じ反応は多くの点で合理的に判断できる。 この構造をよりよく適合させるために、ディフュージョン・リワード・モデル(Diffusion Reward Model)を導入し、$p(\mathbf{r}\mid x,y)$ の条件密度推定として報酬モデリングをリキャストする。 凍結LDMエンコーダに条件付きで、軽量拡散変換器はガウスノイズを報酬ベクトルに分解し、出力分布にパラメトリックな仮定を持たず、そのマルチモーダル構造を自然に表す。 単一のアーキテクチャは、多属性回帰とペアワイズ選好データの両方を処理し、推論時に$N$サンプルは、スカラー、分散、量子化に集約できる経験的な報酬分布を形成する。 5つのベンチマークで、DRMは一致したデータとバックボーンの下でベースラインにマッチまたはオーバーし、トレーニングの規模がわずかであるにもかかわらず、より大きな差別的、分散的、および生成的RMと競合し続け、従来のヘッドが1ポイントに崩壊したマルチモーダル報酬構造を回復する。 不確実性認識の拒絶と低信頼結合(LCB)集約は、DRMがスカラー報酬を超えた分布情報を利用して報酬モデル決定を改善することをさらに証明している。 下流でのRLHF実験では、DRMをトレーニング時間報酬として用いることでポリシー性能が向上し、RLHFトレーニングの拡散に基づく報酬モデリングの実践的メリットが直接的に検証された。

関連論文リスト

• Optimizing Visual Generative Models via Distribution-wise Rewards [57.46109819595665]
  本稿では,実世界のデータ分布との整合性を確保するために,分布ワイド報酬を用いた生成モデルを微調整する新しいフレームワークを提案する。 提案手法は,SiTでは5.77,EDM2では3.74から3.52まで,様々なベースモデルでFID-50Kを大幅に改善する。
  論文  参考訳（メタデータ） (2026-07-02T15:08:56Z)
• Learning Ordinal Probabilistic Reward from Preferences [25.069054134899744]
  確率的リワードモデル(PRM: Probabilistic Reward Model)を提案する。 提案手法では,報酬を決定論的スカラーとしてモデル化する代わりに,ランダム変数として扱い,各応答の品質の完全な確率分布を学習する。 OPRM上に構築したRerea Flooding Tuning(RgFT)と呼ばれるデータ効率のトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2026-02-13T06:43:02Z)
• Beyond VLM-Based Rewards: Diffusion-Native Latent Reward Modeling [58.59644539594293]
  DiNa-LRMは、雑音拡散状態に基づいて好み学習を直接定式化する拡散ネイティブ潜在報酬モデルである。 本手法は拡散ノイズ依存の不確実性を伴う雑音校正サーストンの可能性を導入する。 画像アライメントベンチマーク全体において、DiNa-LRMは既存の拡散ベースの報酬ベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-02-11T18:57:29Z)
• Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
  非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。 BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。 BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-11T08:14:11Z)
• Probabilistic Uncertain Reward Model [27.40414952747553]
  本稿では、優先データから生じる報酬分布を学習するための確率的不確実リワードモデル(PURM)を提案する。 PURMは従来の手法よりも精度が高く,不確実性も高いことを示す。
  論文  参考訳（メタデータ） (2025-03-28T14:39:52Z)
• Quantile Regression for Distributional Reward Models in RLHF [1.8130068086063336]
  我々は,1つのスカラー値の代わりに報酬よりも分布を学習する,報酬モデリングの新しいアプローチであるQuantile Reward Models(QRMs)を紹介する。 提案手法は量子レグレッションを用いて、選好よりも完全な、潜在的に多モード分布を推定し、より強力でニュアンスな選好表現を提供する。 実験の結果,QRMはRewardBench上での従来の点推定モデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-16T10:54:04Z)
• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)
• Distributional Reinforcement Learning for Multi-Dimensional Reward Functions [91.88969237680669]
  多次元分布DQN(MD3QN)を導入し、複数の報酬源からの共振分布をモデル化する。 関節分布モデリングの副産物として、MD3QNは各報酬源に対するリターンのランダム性を捉えることができる。 実験では,リッチな相関型報酬関数を持つ環境下での連立戻り分布を精度良くモデル化した。
  論文  参考訳（メタデータ） (2021-10-26T11:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。