論文の概要: Reinforcement Learning Meets Masked Generative Models: Mask-GRPO for Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2510.13418v1
• Date: Wed, 15 Oct 2025 11:18:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.63841
• Title: Reinforcement Learning Meets Masked Generative Models: Mask-GRPO for Text-to-Image Generation
• Title（参考訳）: 強化学習とマスク生成モデル:テキスト・画像生成のためのマスク-GRPO
• Abstract要約: Mask-GRPOは、グループ相対政策最適化(GRPO)ベースのテキスト・ツー・イメージ(T2I)学習を、見過ごされたパラダイムに組み込む最初の方法である。 我々の中核となる洞察は、現在のアプローチとは異なる遷移確率を再定義し、マルチステップの意思決定問題として解法プロセスを定式化することである。 Mask-GRPOを用いることで、標準的なT2Iベンチマークと好みのアライメントを大幅に改善し、ベースモデルであるShow-oを改善した。
• 参考スコア（独自算出の注目度）: 29.18608226739866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has garnered increasing attention in text-to-image (T2I) generation. However, most existing RL approaches are tailored to either diffusion models or autoregressive models, overlooking an important alternative: masked generative models. In this work, we propose Mask-GRPO, the first method to incorporate Group Relative Policy Optimization (GRPO)-based RL into this overlooked paradigm. Our core insight is to redefine the transition probability, which is different from current approaches, and formulate the unmasking process as a multi-step decision-making problem. To further enhance our method, we explore several useful strategies, including removing the KL constraint, applying the reduction strategy, and filtering out low-quality samples. Using Mask-GRPO, we improve a base model, Show-o, with substantial improvements on standard T2I benchmarks and preference alignment, outperforming existing state-of-the-art approaches. The code is available on https://github.com/xingzhejun/Mask-GRPO
• Abstract（参考訳）: 強化学習(RL)はテキスト・ツー・イメージ(T2I)世代で注目を集めている。 しかしながら、既存のほとんどのRLアプローチは拡散モデルまたは自己回帰モデルに適合し、重要な代替案であるマスク生成モデルを見渡すことができる。 本稿では,グループ相対政策最適化(GRPO)に基づくRLをこの見落としのパラダイムに組み込む最初の手法であるMask-GRPOを提案する。 我々の中核となる洞察は、現在のアプローチとは異なる遷移確率を再定義し、マルチステップの意思決定問題として解法プロセスを定式化することである。 提案手法をさらに強化するために,KL制約の除去,削減戦略の適用,低品質サンプルのフィルタリングなど,いくつかの有用な方法を検討する。 Mask-GRPOを用いることで、標準的なT2Iベンチマークと好みのアライメントを大幅に改善し、ベースモデルであるShow-oを改善した。 コードはhttps://github.com/xingzhejun/Mask-GRPOで公開されている。

関連論文リスト

• LithoGRPO: Fast Inverse Lithography via GRPO Reinforced Flow Matching [51.14153938143746]
  Inverse Lithography Technology (ILT) は、ウェハへのパターン転送の忠実度を高める最適化マスクを生成する。 本稿では,フローマッチングパラダイムとGRPOに基づく強化学習(RL)ファインチューニングを統合したILTフレームワークLithoGRPOを紹介する。 RLサンプリング効率を向上させるために,130倍以上の高速化を実現し,製造性評価のための高速ショットカウントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-05-29T18:01:59Z)
• Sketch Then Paint: Hierarchical Reinforcement Learning for Diffusion Multi-Modal Large Language Models [52.40742159500277]
  強化学習(RL)を通して拡散多モード大言語モデル(dMLLM)を最適化する方法を示す。 弊社のアプローチでは、Sketch-Then-Paintトレーニングスキームにより、アップデートをグローバル、構造、洗練の3つのステージに編成する。 MMaDAとLumina-DiMOOの2つの人気のあるdMLLMバックボーンを用いた実験は、GenEvalとDPGのベンチマークで大幅に向上した。
  論文  参考訳（メタデータ） (2026-05-16T06:59:54Z)
• UniGRPO: Unified Policy Optimization for Reasoning-Driven Visual Generation [51.41441081823758]
  インターリーブドジェネレーションが可能な統一モデルが有望なパラダイムとして登場している。 インターリーブ・ジェネレーションに適した統合強化学習フレームワークを提案する。 実験により,この統合学習レシピは推論による画像生成品質を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2026-03-24T17:59:17Z)
• Co-GRPO: Co-Optimized Group Relative Policy Optimization for Masked Diffusion Model [74.99242687133408]
  Masked Diffusion Models (MDMs) は、視覚、言語、モーダル・ジェネレーションにまたがる有望な可能性を示している。 本稿では,MDM生成をMDP(Markov Decision Process)として再構成し,モデルと推論スケジュールを併用するCo-GRPOを提案する。
  論文  参考訳（メタデータ） (2025-12-25T12:06:04Z)
• MaskFocus: Focusing Policy Optimization on Critical Steps for Masked Image Generation [21.160947261963088]
  マスク生成モデルに対する効果的なポリシー最適化を実現する新しいRLフレームワークであるMaskFocusを提案する。 具体的には、各サンプリングステップにおける中間画像と最終生成画像との類似度を測定することにより、ステップレベルの情報ゲインを決定する。 これを活用して、最も重要で価値のあるステップを特定し、それに焦点を当てたポリシー最適化を実行します。
  論文  参考訳（メタデータ） (2025-12-21T15:08:31Z)
• Understanding and Enhancing Mask-Based Pretraining towards Universal Representations [13.262679155411599]
  マスクをベースとした事前訓練は、言語、視覚、生物学にまたがる近代的な大規模モデルの基盤となっている。 マスクによる事前学習の動作は,高次元最小ノルム(リッジレス)線形回帰におけるテストリスクによって直接的に特徴付けられることを示す。 我々はRandomly Random Mask Auto (R$2$MAE)を提案する。
  論文  参考訳（メタデータ） (2025-09-25T22:08:25Z)
• DanceGRPO: Unleashing GRPO on Visual Generation [42.567425922760144]
  強化学習(Reinforcement Learning, RL)は, 微調整型生成モデルにおいて有望なアプローチである。 DDPOやDPOKのような既存の手法は、大規模で多様なプロンプトセットへのスケーリングにおいて基本的な制限に直面している。 本稿では,グループ相対政策最適化の革新的適応を通じて,これらの制約に対処するフレームワークであるDanceGRPOを提案する。
  論文  参考訳（メタデータ） (2025-05-12T17:59:34Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• Bridging SFT and DPO for Diffusion Model Alignment with Self-Sampling Preference Optimization [67.8738082040299]
  自己サンプリング優先最適化(SSPO)は,訓練後強化学習のための新しいアライメント手法である。 SSPOは、SFTのトレーニング安定性を維持しながら、ペアデータと報酬モデルの必要性を排除する。 SSPOは、テキスト・ツー・イメージベンチマークにおける以前のアプローチを全て上回り、テキスト・ツー・ビデオベンチマークにおける優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-10-07T17:56:53Z)
• Improving Pixel-based MIM by Reducing Wasted Modeling Capability [77.99468514275185]
  浅い層から低レベルの特徴を明示的に利用して画素再構成を支援する手法を提案する。 私たちの知る限りでは、等方的アーキテクチャのためのマルチレベル特徴融合を体系的に研究するのは、私たちは初めてです。 提案手法は, 微調整では1.2%, 線形探索では2.8%, セマンティックセグメンテーションでは2.6%など, 大幅な性能向上をもたらす。
  論文  参考訳（メタデータ） (2023-08-01T03:44:56Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)
• Generative Pre-training for Paraphrase Generation by Representing and Predicting Spans in Exemplars [0.8411385346896411]
  本稿では, GPT-2モデルから拡張した言い換え文に対する新しいアプローチを提案する。 本研究では,POSタグを用いたテンプレートマスキング手法を開発し,無関係な単語をマスクアウトする。 提案手法は,特に意味保存面において,競争基準よりも優れている。
  論文  参考訳（メタデータ） (2020-11-29T11:36:13Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。