論文の概要: Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models

• arxiv url: http://arxiv.org/abs/2604.17415v1
• Date: Sun, 19 Apr 2026 12:47:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.514575
• Title: Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models
• Title（参考訳）: Reward Score Matching:フローモデルと拡散モデルのためのReward-based Fine-tuningの統合
• Abstract要約: Reward-based fine-tuningは、事前訓練された拡散またはフローベース生成モデルを、より高い逆サンプルに向けて操ることを目的としている。 報酬スコアマッチング (RSM) と呼ばれる共通フレームワークで記述できることが示される。
• 参考スコア（独自算出の注目度）: 54.597200388738656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reward-based fine-tuning aims to steer a pretrained diffusion or flow-based generative model toward higher-reward samples while remaining close to the pretrained model. Although existing methods are motivated by different perspectives such as Soft RL, GFlowNets, etc., we show that many can be written under a common framework, which we call reward score matching (RSM). Under this view, alignment becomes score matching toward a reward-guided target, and the main differences across methods reduce to the construction of the value-guidance estimator and the effective optimization strength across timesteps. This unification clarifies the bias--variance--compute tradeoffs of existing designs and distinguishes core optimization components from auxiliary mechanisms that add complexity without clear benefit. Guided by this perspective, we develop simpler redesigns that improve alignment effectiveness and compute efficiency across representative settings with differentiable and black-box rewards. Overall, RSM turns a seemingly fragmented collection of reward-based fine-tuning methods into a smaller, more interpretable, and more actionable design space.
• Abstract（参考訳）: Reward-based fine-tuning は、事前訓練されたモデルに近いまま、事前訓練された拡散またはフローベース生成モデルを高遅延サンプルに向けて操ることを目的としている。 既存の手法はソフトRLやGFlowNetsなど,さまざまな視点から動機付けされているものの,共通フレームワークで記述できるものが多く,報酬スコアマッチング(RSM)と呼ばれている。 この観点では、アライメントは報酬誘導目標に対するスコアマッチングとなり、メソッド間の主な違いは、値誘導推定器の構築とタイムステップ間の効果的な最適化強度に還元される。 この統合は、既存の設計のバイアス-分散-計算的トレードオフを明らかにし、コア最適化コンポーネントを明確な利益なしに複雑さを増す補助メカニズムと区別する。 この観点から、我々は、識別可能とブラックボックスの報酬を持つ代表設定におけるアライメント効率と計算効率を改善するための、よりシンプルな再設計を開発する。 全体として、RSMは報酬ベースの微調整メソッドの断片的なコレクションを、より小さく、より解釈可能で、より実用的なデザイン空間に変える。

関連論文リスト

• Scaling Reinforcement Learning for Diffusion Models via Velocity Matching [66.34541945134916]
  RewardBenchファインチューニングは、人間の好みやタスク固有の目的に拡散モデルを適用するための重要なツールである。 自己回帰モデルとは異なり、拡散モデルは生成したサンプルの抽出可能な可能性を提供しない。 本稿では,速度場に直接作用する単純なトラジェクトリフリー更新である報酬ベースベロシティマッチング(RVM)を提案する。
  論文  参考訳（メタデータ） (2026-08-24T17:13:43Z)
• Optimizing Visual Generative Models via Distribution-wise Rewards [57.46109819595665]
  本稿では,実世界のデータ分布との整合性を確保するために,分布ワイド報酬を用いた生成モデルを微調整する新しいフレームワークを提案する。 提案手法は,SiTでは5.77,EDM2では3.74から3.52まで,様々なベースモデルでFID-50Kを大幅に改善する。
  論文  参考訳（メタデータ） (2026-07-02T15:08:56Z)
• Alternating Reinforcement Learning with Contextual Rubric Rewards [2.1172256884504588]
  Reinforcement Learning with Rewards (RLRR)は、従来の強化学習を人間のフィードバックから拡張するフレームワークである。 RLRRの既存のアプローチは、固定重み付きスカラー報酬に線形に圧縮されたベクトル報酬に限られる。 本研究は,報酬アグリゲーションの限界を克服するために,報酬付き強化学習(ARL-RR)を提案する。
  論文  参考訳（メタデータ） (2026-03-04T04:18:39Z)
• Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning [27.33241821967005]
  本稿では,PMC(Preference Mode Collapse)を緩和する新しいフレームワークを提案する。 D$2$-Alignは、人間の好みと優れた整合性を達成する。
  論文  参考訳（メタデータ） (2025-12-30T11:17:52Z)
• APLOT: Robust Reward Modeling via Adaptive Preference Learning with Optimal Transport [37.21695864040979]
  報酬モデル(RM)は、強化学習(Reinforcement Learning)を通じて、大規模言語モデル(LLM)と人間の嗜好の整合において重要な役割を果たす。 本稿では,適応的マージン機構によりBT系RMを効果的に強化する手法を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:13:28Z)
• Divergence Minimization Preference Optimization for Diffusion Model Alignment [66.31417479052774]
  Divergence Minimization Preference Optimization (DMPO) は、逆KL分散を最小化して拡散モデルを整列する原理的手法である。 DMPOは、異なるベースモデルとテストセットで既存のテクニックを一貫して上回り、適合させることができる。
  論文  参考訳（メタデータ） (2025-07-10T07:57:30Z)
• Interpretable Reward Modeling with Active Concept Bottlenecks [54.00085739303773]
  本稿では,解釈可能な嗜好学習を可能にする報酬モデリングフレームワークであるConcept Bottleneck Reward Models (CB-RM)を紹介する。 不透明報酬関数に依存する標準的なRLHF法とは異なり、CB-RMは報酬予測を人間の解釈可能な概念に分解する。 我々は,最も情報性の高い概念ラベルを動的に取得する能動的学習戦略を定式化する。
  論文  参考訳（メタデータ） (2025-07-07T06:26:04Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Self Distillation via Iterative Constructive Perturbations [0.2748831616311481]
  本稿では,循環最適化手法を用いてモデルとその入力データを並列に最適化し,より優れたトレーニングを行う新しいフレームワークを提案する。 モデルのパラメータをデータとデータに交互に変更することにより、本手法は適合性と一般化のギャップを効果的に解決する。
  論文  参考訳（メタデータ） (2025-05-20T13:15:27Z)
• Directly Fine-Tuning Diffusion Models on Differentiable Rewards [22.1685707267062]
  本稿では,微分可能報酬関数を最大化するために,拡散モデルを微調整するダイレクト・リワード・ファイン・チューニング(DRaFT)を提案する。 まず,全サンプリング手順で報酬関数勾配を逆伝播させることで,様々な報酬に対して高い性能が得られることを示す。 提案手法は,様々な報酬関数に対して有効であり,安定拡散1.4で生成した画像の美的品質を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-09-29T17:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。