論文の概要: Sample By Step, Optimize By Chunk: Chunk-Level GRPO For Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2510.21583v1
• Date: Fri, 24 Oct 2025 15:50:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.526064
• Title: Sample By Step, Optimize By Chunk: Chunk-Level GRPO For Text-to-Image Generation
• Title（参考訳）: サンプル・バイ・ステップ、チャンク・バイ・最適化:テキスト・画像生成のためのチャンク・レベルGRPO
• Authors: Yifu Luo, Penghui Du, Bo Li, Sinan Du, Tiantian Zhang, Yongzhe Chang, Kai Wu, Kun Gai, Xueqian Wang,
• Abstract要約: Group Relative Policy Optimization (GRPO)は、フローマッチングベースのテキスト・ツー・イメージ(T2I)生成に強い可能性を示している。 我々は、最適化のパラダイムをステップレベルからチャンクレベルにシフトすることで、これらの問題を効果的に軽減できると主張している。 Chunk-GRPOは、T2I生成のための最初のチャンクレベルGRPOベースのアプローチである。
• 参考スコア（独自算出の注目度）: 29.015994347609936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group Relative Policy Optimization (GRPO) has shown strong potential for flow-matching-based text-to-image (T2I) generation, but it faces two key limitations: inaccurate advantage attribution, and the neglect of temporal dynamics of generation. In this work, we argue that shifting the optimization paradigm from the step level to the chunk level can effectively alleviate these issues. Building on this idea, we propose Chunk-GRPO, the first chunk-level GRPO-based approach for T2I generation. The insight is to group consecutive steps into coherent 'chunk's that capture the intrinsic temporal dynamics of flow matching, and to optimize policies at the chunk level. In addition, we introduce an optional weighted sampling strategy to further enhance performance. Extensive experiments show that ChunkGRPO achieves superior results in both preference alignment and image quality, highlighting the promise of chunk-level optimization for GRPO-based methods.
• Abstract（参考訳）: Group Relative Policy Optimization (GRPO)は、フローマッチングベースのテキスト・ツー・イメージ(T2I)生成の強い可能性を示しているが、これは2つの重要な制限に直面している。 本研究では,最適化のパラダイムをステップレベルからチャンクレベルにシフトすることで,これらの問題を効果的に緩和できると主張している。 このアイデアに基づいて,T2I 生成のためのチャンクレベル GRPO ベースのアプローチである Chunk-GRPO を提案する。 その洞察は、フローマッチングの固有の時間的ダイナミクスを捉え、チャンクレベルでポリシーを最適化するコヒーレントな'チャンク'に連続的なステップをまとめることである。 さらに,さらなる性能向上を図るため,任意の加重サンプリング戦略を導入する。 広汎な実験により、ChunkGRPOは嗜好アライメントと画質の両方において優れた結果が得られることが示され、GRPO法におけるチャンクレベル最適化の可能性を強調した。

関連論文リスト

• RAPO++: Cross-Stage Prompt Optimization for Text-to-Video Generation via Data Alignment and Test-Time Scaling [59.088798018184235]
  textbfRAPO++は、クロスプラットフォームのプロンプト最適化フレームワークである。 トレーニングデータの整合性向上、テスト時の反復スケーリング、大規模言語モデルの微調整を統一する。 RAPO++は意味的アライメント、構成的推論、時間的安定性、物理的妥当性において大きな進歩を遂げている。
  論文  参考訳（メタデータ） (2025-10-23T04:45:09Z)
• ACPO: Adaptive Curriculum Policy Optimization for Aligning Vision-Language Models in Complex Reasoning [17.928214942495412]
  ACPOは、安定的で、準政治的な探索段階から、効率的で、非政治的な搾取段階へ、原則的な移行を編成する動的カリキュラムを採用している。 我々は、MathVista、LogicVista、MMMU-Proなど、挑戦的なマルチモーダル推論ベンチマークのスイートで広範な実験を行う。 その結果,ACPOはDAPOやPAPOなどの強いベースラインを一貫して上回り,最先端性能,収束の促進,訓練安定性の向上を実現している。
  論文  参考訳（メタデータ） (2025-10-01T09:11:27Z)
• Pref-GRPO: Pairwise Preference Reward-based GRPO for Stable Text-to-Image Reinforcement Learning [34.75717081153747]
  生成された画像を評価する現在の方法は、ハッキングに報奨を与える可能性がある。 Pref-GRPOを提案する。これは、最適化目標をスコアから好みのフィッティングにシフトさせ、より安定したトレーニングを確実にする。 既存のT2Iベンチマークは粗い評価基準によって制限されており、包括的なモデル評価を妨げる。 We introduced UniGenBench, a unified T2I benchmark including 600 prompts across 5 mainmes and 20 subthemes。
  論文  参考訳（メタデータ） (2025-08-28T13:11:24Z)
• On the Theory and Practice of GRPO: A Trajectory-Corrected Approach with Fast Convergence [2.8165669455824696]
  Group Relative Policy Optimizationは、批判のない強化学習アルゴリズムである。 GRPO更新規則は,現行の方針よりも旧方針の政策勾配を推定する。 軌道レベルの重要度補正 GRPO という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-08-04T19:01:19Z)
• VerIPO: Cultivating Long Reasoning in Video-LLMs via Verifier-Gudied Iterative Policy Optimization [59.39976343879587]
  VerIPOは、深く長期的な推論チェーンを生成するためのビデオLLMの能力を徐々に改善することを目指している。 トレーニングループはGRPOの拡張検索とDPOのターゲット最適化の恩恵を受けている。 我々の訓練されたモデルは、大規模命令調整ビデオ-LLMの直接推定を超えている。
  論文  参考訳（メタデータ） (2025-05-25T06:41:28Z)
• Group Relative Policy Optimization for Image Captioning [1.9606373630214207]
  本稿では,最新のグループ相対政策最適化(GRPO)強化学習アルゴリズムを第2段階の最適化ソリューションとして利用することを提案する。 ポリシー更新の振幅とKLのばらつきを制約することにより、トレーニング中のモデルの安定性が大幅に保証される。
  論文  参考訳（メタデータ） (2025-03-03T09:16:41Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Bidirectional Looking with A Novel Double Exponential Moving Average to Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
  我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。 我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
  論文  参考訳（メタデータ） (2023-07-02T18:16:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。