論文の概要: DanceGRPO: Unleashing GRPO on Visual Generation

• arxiv url: http://arxiv.org/abs/2505.07818v1
• Date: Mon, 12 May 2025 17:59:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.542136
• Title: DanceGRPO: Unleashing GRPO on Visual Generation
• Title（参考訳）: DanceGRPO: ビジュアルジェネレーションでGRPOを開放する
• Authors: Zeyue Xue, Jie Wu, Yu Gao, Fangyuan Kong, Lingting Zhu, Mengzhao Chen, Zhiheng Liu, Wei Liu, Qiushan Guo, Weilin Huang, Ping Luo,
• Abstract要約: 本稿では,グループ相対政策最適化を視覚生成パラダイムに適用する最初の統合フレームワークであるDanceGRPOを紹介する。 我々は、HPS-v2.1、CLIP Score、VideoAlign、GenEvalなどのベンチマークでベースラインを最大181%上回る、一貫性と実質的な改善を示す。 本研究では,DanceGRPOを視覚生成におけるヒューマンフィードバックタスクからの強化学習のスケールアップのための堅牢で汎用的なソリューションとして確立し,強化学習と視覚合成の調和に関する新たな洞察を提供する。
• 参考スコア（独自算出の注目度）: 36.36813831536346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent breakthroughs in generative models-particularly diffusion models and rectified flows-have revolutionized visual content creation, yet aligning model outputs with human preferences remains a critical challenge. Existing reinforcement learning (RL)-based methods for visual generation face critical limitations: incompatibility with modern Ordinary Differential Equations (ODEs)-based sampling paradigms, instability in large-scale training, and lack of validation for video generation. This paper introduces DanceGRPO, the first unified framework to adapt Group Relative Policy Optimization (GRPO) to visual generation paradigms, unleashing one unified RL algorithm across two generative paradigms (diffusion models and rectified flows), three tasks (text-to-image, text-to-video, image-to-video), four foundation models (Stable Diffusion, HunyuanVideo, FLUX, SkyReel-I2V), and five reward models (image/video aesthetics, text-image alignment, video motion quality, and binary reward). To our knowledge, DanceGRPO is the first RL-based unified framework capable of seamless adaptation across diverse generative paradigms, tasks, foundational models, and reward models. DanceGRPO demonstrates consistent and substantial improvements, which outperform baselines by up to 181% on benchmarks such as HPS-v2.1, CLIP Score, VideoAlign, and GenEval. Notably, DanceGRPO not only can stabilize policy optimization for complex video generation, but also enables generative policy to better capture denoising trajectories for Best-of-N inference scaling and learn from sparse binary feedback. Our results establish DanceGRPO as a robust and versatile solution for scaling Reinforcement Learning from Human Feedback (RLHF) tasks in visual generation, offering new insights into harmonizing reinforcement learning and visual synthesis. The code will be released.
• Abstract（参考訳）: 生成モデルにおける最近のブレークスルー - 特に拡散モデルと修正フロー-は、視覚コンテンツ生成に革命をもたらしたが、モデル出力と人間の嗜好の整合性は、依然として重要な課題である。 既存の強化学習(RL)に基づく視覚生成の手法は、現代の正規微分方程式(ODE)に基づくサンプリングパラダイムとの非互換性、大規模トレーニングにおける不安定性、ビデオ生成の検証の欠如といった限界に直面している。 本稿では,グループ相対ポリシー最適化(GRPO)を視覚生成パラダイムに適用する最初の統一フレームワークであるDanceGRPOを紹介し,2つの生成パラダイム(拡散モデルと修正フロー),3つのタスク(テキスト・ツー・イメージ,テキスト・トゥ・ビデオ,画像・トゥ・ビデオ),4つの基礎モデル(安定拡散,HunyuanVideo,FLUX,SkyReel-I2V),5つの報酬モデル(イメージ・ビデオ美学,テキスト・イメージアライメント,ビデオモーション・クオリティ,バイナリ・リワード)について述べる。 私たちの知る限り、DanceGRPOはRLベースの統合フレームワークであり、様々な生成パラダイム、タスク、基礎モデル、報酬モデルにシームレスに対応できる。 DanceGRPOは、HPS-v2.1、CLIP Score、VideoAlign、GenEvalなどのベンチマークにおいて、ベースラインを最大181%上回る一貫性と実質的な改善を示している。 特に、DanceGRPOは、複雑なビデオ生成のためのポリシー最適化を安定化できるだけでなく、生成ポリシーにより、Best-of-N推論スケーリングのためのデノベーショントラジェクトリをよりよくキャプチャし、スパースバイナリフィードバックから学ぶことができる。 本研究では,RLHF(Reinforcement Learning from Human Feedback)タスクを視覚的に拡張するための堅牢で汎用的なソリューションとしてDanceGRPOを確立し,強化学習と視覚合成の調和に関する新たな洞察を提供する。 コードはリリースされます。

関連論文リスト

• Learning Graph Representation of Agent Diffuser [9.402103660431793]
  拡散に基づく生成モデルは高度なテキスト-画像合成を持つ。 この遷移は、静的モデルパラメータが生成の異なるフェーズに最適に対応していないことを示唆している。 本稿では,動的コンピュータビジョンタスクの適応性向上を目的とした,新しいマルチエージェントシステムであるLGR-ADを紹介する。
  論文  参考訳（メタデータ） (2025-05-10T21:42:24Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [75.70017261794422]
  本稿では,オンライン強化学習(RL)をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では, 1 つの主要な戦略を用いる:(1) 決定論的正規方程式 (ODE) を, 1 つの時点における原モデルの限界分布に一致する等価な微分方程式 (SDE) に変換するODE-to-SDE 変換と、(2) 元の推論タイムステップ数を保ちながらトレーニングの段階を減らし,
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• HuViDPO:Enhancing Video Generation through Direct Preference Optimization for Human-Centric Alignment [13.320911720001277]
  本稿では,テキスト・ツー・ビデオ(T2V)タスクにDPO(Direct Preference Optimization)の戦略を導入する。 既存のT2V生成手法では、人間の好みで生成されたビデオのアライメントをガイドする、正確な損失関数を備えた十分に整形されたパイプラインが欠如している。
  論文  参考訳（メタデータ） (2025-02-02T16:55:42Z)
• Can We Generate Images with CoT? Let's Verify and Reinforce Image Generation Step by Step [77.86514804787622]
  CoT(Chain-of-Thought)推論は、複雑な理解タスクに取り組むために大規模なモデルで広く研究されている。 自己回帰画像生成を促進するために,CoT推論の可能性について,初めて包括的調査を行った。 本稿では,自動回帰画像生成に特化したPARMとPARM++を提案する。
  論文  参考訳（メタデータ） (2025-01-23T18:59:43Z)
• Improving Video Generation with Human Feedback [81.48120703718774]
  ビデオ生成は大きな進歩を遂げているが、動画とプロンプト間の不規則な動きや不一致といった問題が続いている。 我々は、人間のフィードバックを利用してこれらの問題を緩和し、ビデオ生成モデルを洗練する体系的なパイプラインを開発する。 多次元ビデオ報酬モデルであるVideoRewardを導入し、アノテーションと様々なデザイン選択が報奨効果に与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-23T18:55:41Z)
• Autoregressive Video Generation without Vector Quantization [90.87907377618747]
  本研究では,時間フレーム毎の予測の非量子化自己回帰モデルとしてビデオ生成問題を再構成する。 提案手法では,ベクトル量子化のない新しい自己回帰モデルであるNOVAを訓練する。 以上の結果から,NOVAはデータ効率,推論速度,視覚的忠実度,映像流速において,従来の自己回帰ビデオモデルよりもはるかに小さいモデルキャパシティを有することがわかった。
  論文  参考訳（メタデータ） (2024-12-18T18:59:53Z)
• CAR: Controllable Autoregressive Modeling for Visual Generation [100.33455832783416]
  Controllable AutoRegressive Modeling (CAR)は、条件制御をマルチスケールの潜在変数モデリングに統合する新しいプラグイン・アンド・プレイフレームワークである。 CARは、制御表現を徐々に洗練し、キャプチャし、前訓練されたモデルの各自己回帰ステップに注入して生成プロセスを導く。 提案手法は,様々な条件にまたがって優れた制御性を示し,従来の手法に比べて画質の向上を実現している。
  論文  参考訳（メタデータ） (2024-10-07T00:55:42Z)
• Incorporating Reinforced Adversarial Learning in Autoregressive Image Generation [39.55651747758391]
  本稿では,自己回帰モデルに対するポリシー勾配最適化に基づく強化適応学習(RAL)を提案する。 RALはまた、VQ-VAEフレームワークの異なるモジュール間のコラボレーションを強化する。 提案手法は,64$times$64画像解像度でCelebaの最先端結果を実現する。
  論文  参考訳（メタデータ） (2020-07-20T08:10:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。