論文の概要: Advances in GRPO for Generation Models: A Survey

• arxiv url: http://arxiv.org/abs/2603.06623v1
• Date: Sat, 21 Feb 2026 17:11:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.448454
• Title: Advances in GRPO for Generation Models: A Survey
• Title（参考訳）: 世代モデルのためのGRPOの進歩:サーベイ
• Abstract要約: Flow-GRPOは、生成モデルのための強化学習フレームワークである。 生成モデルと人間の好みとタスク固有の目的を一致させるのに使うことができる。 この調査では、Flow-GRPOを現代的な生成モデルのための一般的なアライメントフレームワークとして取り上げている。
• 参考スコア（独自算出の注目度）: 5.995432816974204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale flow matching models have achieved strong performance across generative tasks such as text-to-image, video, 3D, and speech synthesis. However, aligning their outputs with human preferences and task-specific objectives remains challenging. Flow-GRPO extends Group Relative Policy Optimization (GRPO) to generation models, enabling stable reinforcement learning alignment for generative systems. Since its introduction, Flow-GRPO has triggered rapid research growth, spanning methodological refinements and diverse application domains. This survey provides a comprehensive review of Flow-GRPO and its subsequent developments. We organize existing work along two primary dimensions. First, we analyze methodological advances beyond the original framework, including reward signal design, credit assignment, sampling efficiency, diversity preservation, reward hacking mitigation, and reward model construction. Second, we examine extensions of GRPO-based alignment across generative paradigms and modalities, including text-to-image, video generation, image editing, speech and audio, 3D modeling, embodied vision-language-action systems, unified multimodal models, autoregressive and masked diffusion models, and restoration tasks. By synthesizing theoretical insights and practical adaptations, this survey highlights Flow-GRPO as a general alignment framework for modern generative models and outlines key open challenges for scalable and robust reinforcement-based generation.
• Abstract（参考訳）: 大規模フローマッチングモデルは,テキスト・ツー・イメージ,ビデオ,3D,音声合成などの生成タスクにおいて,高い性能を実現している。 しかしながら、アウトプットを人間の好みやタスク固有の目的に合わせることは依然として困難である。 Flow-GRPOは、グループ相対ポリシー最適化(GRPO)を生成モデルに拡張し、生成システムの安定した強化学習アライメントを可能にする。 Flow-GRPOの導入以来、Flow-GRPOは急激な研究の進展を引き起こし、方法論的な洗練と多様な応用ドメインにまたがっている。 この調査は、Flow-GRPOとそのその後の開発に関する包括的なレビューを提供する。 既存の作業は2つの主要な側面に沿って整理します。 まず、報奨信号の設計、クレジット割り当て、サンプリング効率、多様性の保存、報奨ハッキング緩和、報奨モデル構築など、当初の枠組みを超えた方法論的進歩を分析する。 第2に,テキスト・ツー・イメージ,ビデオ生成,画像編集,音声・音声,3Dモデリング,具体的視覚言語・アクション・システム,統合マルチモーダル・モデル,自己回帰的・マスク的拡散モデル,復元作業など,GRPOに基づくアライメントの拡張について検討する。 理論的な洞察と実践的な適応を合成することにより、フロー-GRPOを現代の生成モデルのための一般的なアライメントフレームワークとして取り上げ、スケーラブルで堅牢な強化モデル生成のための重要な課題を概説する。

関連論文リスト

• UniGRPO: Unified Policy Optimization for Reasoning-Driven Visual Generation [51.41441081823758]
  インターリーブドジェネレーションが可能な統一モデルが有望なパラダイムとして登場している。 インターリーブ・ジェネレーションに適した統合強化学習フレームワークを提案する。 実験により,この統合学習レシピは推論による画像生成品質を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2026-03-24T17:59:17Z)
• UniG2U-Bench: Do Unified Models Advance Multimodal Understanding? [50.92401586025528]
  統一マルチモーダルモデルは、最近強力な生成能力を示したが、生成が理解を改善したかどうかはまだ不明である。 提案するUniG2U-Benchは,G2U(Generation-to-understanding)評価を7つのシステマと30のサブタスクに分類する総合ベンチマークである。
  論文  参考訳（メタデータ） (2026-03-03T18:36:16Z)
• Integrating Reinforcement Learning with Visual Generative Models: Foundations and Advances [8.56304683490938]
  強化学習は、非微分可能、嗜好駆動、時間的に構造化された目的を最適化するための原則化されたフレームワークを提供する。 最近の進歩は、生成タスク間の制御性、一貫性、人間のアライメントを高める効果を実証している。
  論文  参考訳（メタデータ） (2025-08-14T03:44:03Z)
• Continual Learning for Generative AI: From LLMs to MLLMs and Beyond [56.29231194002407]
  本稿では,主流生成型AIモデルに対する連続学習手法の総合的な調査を行う。 これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースという3つのパラダイムに分類する。 我々は、トレーニング目標、ベンチマーク、コアバックボーンを含む、異なる生成モデルに対する連続的な学習設定を分析する。
  論文  参考訳（メタデータ） (2025-06-16T02:27:25Z)
• Delving into RL for Image Generation with CoT: A Study on DPO vs. GRPO [68.44918104224818]
  自己回帰画像生成は、Chain-of-Thought(CoT)推論とは異なる固有の課題を示す。 本研究は,自己回帰画像生成におけるGRPOアルゴリズムとDPOアルゴリズムの総合的研究である。 以上の結果から,GRPOとDPOは異なる優位性を示し,本質的な一般化能力を有する報酬モデルが適用されたRLアルゴリズムの一般化可能性を高める可能性が示唆された。
  論文  参考訳（メタデータ） (2025-05-22T17:59:49Z)
• DanceGRPO: Unleashing GRPO on Visual Generation [42.567425922760144]
  強化学習(Reinforcement Learning, RL)は, 微調整型生成モデルにおいて有望なアプローチである。 DDPOやDPOKのような既存の手法は、大規模で多様なプロンプトセットへのスケーリングにおいて基本的な制限に直面している。 本稿では,グループ相対政策最適化の革新的適応を通じて,これらの制約に対処するフレームワークであるDanceGRPOを提案する。
  論文  参考訳（メタデータ） (2025-05-12T17:59:34Z)
• Generative Models in Decision Making: A Survey [63.68746774576147]
  生成モデルは、高逆状態反応領域や中間部分ゴールへエージェントを誘導する軌道を生成することによって意思決定システムに組み込むことができる。 本稿では,意思決定タスクにおける生成モデルの適用について概説する。
  論文  参考訳（メタデータ） (2025-02-24T12:31:28Z)
• RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model [93.8067369210696]
  テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。 拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。 大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
  論文  参考訳（メタデータ） (2023-09-02T03:27:20Z)
• A Generic Approach for Enhancing GANs by Regularized Latent Optimization [79.00740660219256]
  本稿では,事前学習したGANを効果的かつシームレスに拡張できる,エミュレーティブモデル推論と呼ばれる汎用フレームワークを提案する。 我々の基本的な考え方は、ワッサーシュタイン勾配流法を用いて与えられた要求に対する最適潜時分布を効率的に推算することである。
  論文  参考訳（メタデータ） (2021-12-07T05:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。