論文の概要: Think Before You Score: Thinking Reward Model for Visual Generation

• arxiv url: http://arxiv.org/abs/2609.37372v1
• Date: Tue, 29 Sep 2026 12:28:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.483412
• Title: Think Before You Score: Thinking Reward Model for Visual Generation
• Title（参考訳）: ビジュアルジェネレーションのためのリワードモデルを考える
• Abstract要約: シンキング・リワード・モデル(TRM)は、ケース適応型ルーブリックを定式化し、ルーブリック誘導評価を行い、きめ細かいポイントワイド報酬を生成する。 画像生成および編集報酬モデルベンチマークの実験により、TRMはオープンソース報酬モデルの中で最先端のパフォーマンスを達成することを示した。
• 参考スコア（独自算出の注目度）: 18.81589417103046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual reward models are essential for evaluating and improving visual generation models, yet existing approaches typically map task conditions and candidate outputs directly to scalar rewards, leaving implicit what should be evaluated for each individual case. We introduce Think Before You Score, a paradigm that explicitly determines what matters for each case before judging how well the candidate performs. Following this principle, we propose the Thinking Reward Model (TRM), which formulates case-adaptive rubrics, performs rubric-guided assessment, and produces fine-grained pointwise rewards. We further observe that conventional pairwise preference optimization can induce score polarization, and introduce Pairwise Dual-Group Relative Policy Optimization (PD-GRPO), which leverages pairwise supervision to improve reward discrimination while preserving fine-grained pointwise scoring. Extensive experiments on image generation and editing reward-modeling benchmarks demonstrate that TRM achieves state-of-the-art performance among open-source reward models while remaining highly competitive with proprietary alternatives. Moreover, using TRM as a reward for reinforcement learning consistently improves diverse visual generation models, demonstrating that its fine-grained, case-adaptive rewards translate into effective optimization signals for visual generation.
• Abstract（参考訳）: 視覚報酬モデルは、視覚生成モデルの評価と改善に不可欠であるが、既存のアプローチは、通常、タスク条件と候補出力を直接スカラー報酬にマッピングし、個々のケースに何を評価するべきかを暗黙的に残す。 このパラダイムは、候補者の業績を判断する前に、各ケースで何が重要かを明示的に決定する。 この原理に従って,ケース適応型ルーブリックを定式化し,ルーブリック誘導評価を行い,細かなポイントワイド報酬を生成するThinking Reward Model (TRM)を提案する。 さらに、従来のペアワイズ選好最適化はスコア偏光を誘導し、ペアワイズ・デュアルグループ相対ポリシー最適化(PD-GRPO)を導入し、微粒なポイントワイズスコアを維持しながら、ペアワイズ・インスペクションを利用して報酬の識別を改善する。 画像生成および編集報酬モデルベンチマークに関する大規模な実験は、TRMがオープンソース報酬モデルの中で最先端のパフォーマンスを達成しつつ、プロプライエタリな代替品と高い競争力を維持していることを示している。 さらに、強化学習の報酬としてTRMを使用することで、様々な視覚生成モデルの改善が一貫して行われ、その細粒度でケース適応的な報酬が視覚生成のための効果的な最適化信号に変換されることを示す。

関連論文リスト

• Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models [54.597200388738656]
  Reward-based fine-tuningは、事前訓練された拡散またはフローベース生成モデルを、より高い逆サンプルに向けて操ることを目的としている。 報酬スコアマッチング (RSM) と呼ばれる共通フレームワークで記述できることが示される。
  論文  参考訳（メタデータ） (2026-04-19T12:47:52Z)
• RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
  本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。 提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。 その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:09Z)
• Unified Personalized Reward Model for Vision Generation [27.496220369122494]
  視覚生成のためのパーソナライズされた報酬モデルであるUnifiedReward-Flexを提案する。 我々はまず,高度閉ソースVLMからブートストラップSFTまで,構造化された高品質な推論トレースを蒸留した。 次に、慎重にキュレートされた選好ペア上で直接選好最適化(DPO)を行い、推論の忠実度と識別的アライメントをさらに強化する。
  論文  参考訳（メタデータ） (2026-02-02T17:44:21Z)
• Probing Preference Representations: A Multi-Dimensional Evaluation and Analysis Method for Reward Models [63.00458229517523]
  本研究は、嗜好表現を探索することで、報酬モデルの評価課題に対処する。 多次元リワードモデルベンチマーク (MRMBench) を構築する。 本稿では,報酬予測時に使用する次元を同定し,その解釈可能性を高める解析手法,推論時探索を提案する。
  論文  参考訳（メタデータ） (2025-11-16T05:29:29Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• Rethinking Reward Model Evaluation Through the Lens of Reward Overoptimization [15.729285736811383]
  リワードモデルは、人間のフィードバックからの強化学習において重要な役割を果たす。 既存の報酬モデルベンチマークは、最適化されたポリシーの性能と弱い相関を示す。
  論文  参考訳（メタデータ） (2025-05-19T06:43:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。