論文の概要: GDRO: Group-level Reward Post-training Suitable for Diffusion Models

• arxiv url: http://arxiv.org/abs/2601.02036v1
• Date: Mon, 05 Jan 2026 11:47:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:23.052025
• Title: GDRO: Group-level Reward Post-training Suitable for Diffusion Models
• Title（参考訳）: GDRO:拡散モデルに適したグループレベルの後方訓練
• Authors: Yiyang Wang, Xi Chen, Xiaogang Xu, Yu Liu, Hengshuang Zhao,
• Abstract要約: グループレベルの報酬は、モデルを目標とする報酬と整合させるのに成功します。 Group-level Direct Reward Optimization (GDRO)は、グループレベルの報酬アライメントのための新しいトレーニング後のパラダイムである。 GDROは完全なオフライントレーニングをサポートし、画像ロールアウトサンプリングの大幅なコスト削減を実現する。 これは拡散サンプラー非依存であり、取得性に対するODE-to-SDE近似の必要性を排除している。
• 参考スコア（独自算出の注目度）: 55.948229011478304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements adopt online reinforcement learning (RL) from LLMs to text-to-image rectified flow diffusion models for reward alignment. The use of group-level rewards successfully aligns the model with the targeted reward. However, it faces challenges including low efficiency, dependency on stochastic samplers, and reward hacking. The problem is that rectified flow models are fundamentally different from LLMs: 1) For efficiency, online image sampling takes much more time and dominates the time of training. 2) For stochasticity, rectified flow is deterministic once the initial noise is fixed. Aiming at these problems and inspired by the effects of group-level rewards from LLMs, we design Group-level Direct Reward Optimization (GDRO). GDRO is a new post-training paradigm for group-level reward alignment that combines the characteristics of rectified flow models. Through rigorous theoretical analysis, we point out that GDRO supports full offline training that saves the large time cost for image rollout sampling. Also, it is diffusion-sampler-independent, which eliminates the need for the ODE-to-SDE approximation to obtain stochasticity. We also empirically study the reward hacking trap that may mislead the evaluation, and involve this factor in the evaluation using a corrected score that not only considers the original evaluation reward but also the trend of reward hacking. Extensive experiments demonstrate that GDRO effectively and efficiently improves the reward score of the diffusion model through group-wise offline optimization across the OCR and GenEval tasks, while demonstrating strong stability and robustness in mitigating reward hacking.
• Abstract（参考訳）: 近年,LLMからテキストから画像への修正フロー拡散モデルへのオンライン強化学習(RL)の導入が進んでいる。 グループレベルの報酬の使用は、モデルとターゲットの報酬をうまく整合させる。 しかし、効率の低下、確率的なサンプリングへの依存、報酬のハッキングといった課題に直面している。 問題は、整流流モデルがLLMと根本的に異なることである。 1) 効率向上のためには, オンライン画像サンプリングの方がはるかに時間がかかり, トレーニング時間を支配している。 2)確率性については,初期雑音が固定されると整流が決定的となる。 これらの問題に着目し,LLMによるグループレベルの報酬の影響に触発されて,グループレベルのダイレクトリワード最適化(GDRO)を設計する。 GDROは、修正フローモデルの特徴を組み合わせたグループレベルの報酬アライメントのための新しい訓練後のパラダイムである。 厳密な理論的解析を通じて、GDROはフルオフライントレーニングをサポートし、画像ロールアウトサンプリングの大幅なコスト削減を実現することを指摘した。 また、拡散サンプラー非依存であり、確率性を得るためにODE-to-SDE近似を不要にする。 また、評価を誤解させる可能性のある報酬ハッキングトラップを実証的に研究し、本来の評価報酬だけでなく報酬ハッキングの傾向も考慮した補正スコアを用いて評価にこの要因を関与させる。 広汎な実験により、GDROはOCRおよびGenEvalタスク間のグループワイドオフライン最適化を通じて拡散モデルの報酬スコアを効果的かつ効率的に改善し、報酬ハックを緩和する強い安定性と堅牢性を示す。

関連論文リスト

• SPARK: Synergistic Policy And Reward Co-Evolving Framework [84.22494672256894]
  我々は、RLVR上に構築された効率的でオン・ポリティクス、安定した手法であるSPARK(Synergistic Policy and Reward Co-Evolving Framework)を紹介する。 ロールアウトと正確性データを捨てる代わりに、SPARKはこの貴重な情報をリサイクルし、生成的報酬モデルとしてモデル自体をトレーニングする。 SPARK は複数の LLM モデルと LVLM モデル,および複数の推論,報酬モデル,一般ベンチマークにおいて,大幅な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-09-26T17:50:12Z)
• One Token to Fool LLM-as-a-Judge [52.45386385722788]
  大規模言語モデル(LLM)は、自動化された審査員としてますます信頼され、評価を支援し、他のモデルを訓練するための報酬信号を提供する。 生成的報酬モデルは、ハッキングに対して体系的に影響を受けやすい。
  論文  参考訳（メタデータ） (2025-07-11T17:55:22Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• Countering Reward Over-optimization in LLM with Demonstration-Guided Reinforcement Learning [49.87923965553233]
  強化学習は、大きな言語モデルで過度に最適化される。 報酬目的を再検討するために、Reward from Demonstration (RCfD)を導入する。 RCfD は ROO を緩和しながら, 注意深く調整されたベースラインに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-04-30T09:57:21Z)
• PRDP: Proximal Reward Difference Prediction for Large-Scale Reward Finetuning of Diffusion Models [13.313186665410486]
  リワード微調整は、ファンデーションモデルを下流の目標と整合させるための有望なアプローチとして現れています。 既存の報酬微調整手法は、大規模なプロンプトデータセットにおける不安定性によって制限される。 拡散モデルに対する安定なブラックボックス報酬の微調整を可能にするためのPRDP(Proximal Reward difference Prediction)を提案する。
  論文  参考訳（メタデータ） (2024-02-13T18:58:16Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。