論文の概要: DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment

• arxiv url: http://arxiv.org/abs/2601.20218v1
• Date: Wed, 28 Jan 2026 03:39:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.753047
• Title: DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment
• Title（参考訳）: DenseGRPO:フローマッチングモデルアライメントのためのスパースからデンスリワード
• Authors: Haoyou Deng, Keyu Yan, Chaojie Mao, Xiang Wang, Yu Liu, Changxin Gao, Nong Sang,
• Abstract要約: テキスト・画像生成のためのGRPOベースのアプローチは、スパース報酬問題に悩まされる。 textbfDenseGRPOは、人間の好みと深い報酬を一致させる新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 49.45064510462232
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent GRPO-based approaches built on flow matching models have shown remarkable improvements in human preference alignment for text-to-image generation. Nevertheless, they still suffer from the sparse reward problem: the terminal reward of the entire denoising trajectory is applied to all intermediate steps, resulting in a mismatch between the global feedback signals and the exact fine-grained contributions at intermediate denoising steps. To address this issue, we introduce \textbf{DenseGRPO}, a novel framework that aligns human preference with dense rewards, which evaluates the fine-grained contribution of each denoising step. Specifically, our approach includes two key components: (1) we propose to predict the step-wise reward gain as dense reward of each denoising step, which applies a reward model on the intermediate clean images via an ODE-based approach. This manner ensures an alignment between feedback signals and the contributions of individual steps, facilitating effective training; and (2) based on the estimated dense rewards, a mismatch drawback between the uniform exploration setting and the time-varying noise intensity in existing GRPO-based methods is revealed, leading to an inappropriate exploration space. Thus, we propose a reward-aware scheme to calibrate the exploration space by adaptively adjusting a timestep-specific stochasticity injection in the SDE sampler, ensuring a suitable exploration space at all timesteps. Extensive experiments on multiple standard benchmarks demonstrate the effectiveness of the proposed DenseGRPO and highlight the critical role of the valid dense rewards in flow matching model alignment.
• Abstract（参考訳）: フローマッチングモデルに基づく最近のGRPOベースのアプローチは、テキスト・画像生成のための人間の嗜好アライメントを著しく改善している。 しかしながら、これらは依然としてスパース報酬問題に悩まされており、全ての中間ステップにデノナイジング軌道全体の終端報酬が適用され、その結果、グローバルフィードバック信号と中間デノナイジングステップにおける正確な微細なコントリビューションとがミスマッチする。 この問題に対処するために,人間の嗜好を高密度報酬と整合させる新しいフレームワークである「textbf{DenseGRPO}」を導入し,各認知ステップの微細な寄与を評価する。 特に,本手法は,(1)各デノナイジングステップの高密度報酬としてステップワイド報酬ゲインを予測し,ODEベースのアプローチを用いて中間クリーンイメージに報酬モデルを適用することを提案する。 この方法では、フィードバック信号と個々のステップのコントリビューションのアライメントを保証し、効果的なトレーニングを容易にし、(2)推定密度の高い報奨に基づいて、既存GRPO法における一様探査設定と時間変化雑音強度とのミスマッチの欠点を明らかにし、不適切な探索空間をもたらす。 そこで本研究では,SDEサンプリング装置において,時間固有の確率性注入を適応的に調整して探索空間を調整し,適切な探索空間を確保することで,探索空間を校正する報奨対応スキームを提案する。 複数の標準ベンチマークに関する大規模な実験は、提案したDenseGRPOの有効性を示し、フローマッチングモデルアライメントにおいて有効な高密度報酬の重要性を強調している。

関連論文リスト

• Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning [27.33241821967005]
  本稿では,PMC(Preference Mode Collapse)を緩和する新しいフレームワークを提案する。 D$2$-Alignは、人間の好みと優れた整合性を達成する。
  論文  参考訳（メタデータ） (2025-12-30T11:17:52Z)
• G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
  本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。 複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。 G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-10-02T12:57:12Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Reward-Guided Iterative Refinement in Diffusion Models at Test-Time with Applications to Protein and DNA Design [87.58981407469977]
  進化的アルゴリズムにインスパイアされた拡散モデルを用いた推論時間報酬最適化のための新しいフレームワークを提案する。 当社のアプローチでは,各イテレーションにおける2つのステップ – ノイズ発生と報酬誘導という,反復的な改善プロセスを採用しています。
  論文  参考訳（メタデータ） (2025-02-20T17:48:45Z)
• Aligning Few-Step Diffusion Models with Dense Reward Difference Learning [81.85515625591884]
  Stepwise Diffusion Policy Optimization (SDPO) は、数ステップの拡散モデルに適したアライメント手法である。 SDPOは、すべての中間ステップに密集した報酬フィードバックを組み込んで、すべてのデノナイジングステップを一貫したアライメントを確保する。 SDPOは、様々なステップ構成にまたがる報酬ベースのアライメントにおいて、従来手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-11-18T16:57:41Z)
• LIRE: listwise reward enhancement for preference alignment [27.50204023448716]
  本稿では、複数の応答のオフライン報酬を合理化されたリストワイズフレームワークに組み込む、勾配に基づく報酬最適化手法を提案する。 LIREは実装が簡単で、最小限のパラメータチューニングを必要とし、ペアワイズパラダイムとシームレスに整合する。 実験の結果,LIREは対話タスクや要約タスクのベンチマークにおいて,既存のメソッドよりも一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T10:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。