論文の概要: Policy Optimized Text-to-Image Pipeline Design

• arxiv url: http://arxiv.org/abs/2505.21478v1
• Date: Tue, 27 May 2025 17:50:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.843483
• Title: Policy Optimized Text-to-Image Pipeline Design
• Title（参考訳）: ポリシー最適化によるテキスト・画像パイプライン設計
• Authors: Uri Gadot, Rinon Gal, Yftah Ziser, Gal Chechik, Shie Mannor,
• Abstract要約: 本稿では,テキスト・ツー・イメージ生成のための新しい強化学習フレームワークを提案する。 提案手法は、まず、画像品質のスコアをインタプリタ-ワークフローの組み合わせから直接予測できる報奨モデルのアンサンブルを訓練する。 次に、最初の語彙学習とGRPOに基づく最適化という2段階のトレーニング戦略を実装した。
• 参考スコア（独自算出の注目度）: 72.87655664038617
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Text-to-image generation has evolved beyond single monolithic models to complex multi-component pipelines. These combine fine-tuned generators, adapters, upscaling blocks and even editing steps, leading to significant improvements in image quality. However, their effective design requires substantial expertise. Recent approaches have shown promise in automating this process through large language models (LLMs), but they suffer from two critical limitations: extensive computational requirements from generating images with hundreds of predefined pipelines, and poor generalization beyond memorized training examples. We introduce a novel reinforcement learning-based framework that addresses these inefficiencies. Our approach first trains an ensemble of reward models capable of predicting image quality scores directly from prompt-workflow combinations, eliminating the need for costly image generation during training. We then implement a two-phase training strategy: initial workflow vocabulary training followed by GRPO-based optimization that guides the model toward higher-performing regions of the workflow space. Additionally, we incorporate a classifier-free guidance based enhancement technique that extrapolates along the path between the initial and GRPO-tuned models, further improving output quality. We validate our approach through a set of comparisons, showing that it can successfully create new flows with greater diversity and lead to superior image quality compared to existing baselines.
• Abstract（参考訳）: テキスト・ツー・イメージ生成は単一のモノリシックモデルから複雑なマルチコンポーネント・パイプラインへと進化してきた。 これらは微調整されたジェネレータ、アダプタ、アップスケーリングブロック、編集ステップなどを組み合わせたもので、画質が大幅に向上した。 しかし、その効果的な設計にはかなりの専門知識が必要である。 近年のアプローチでは、このプロセスを大規模言語モデル(LLM)で自動化することは約束されているが、数百の事前定義されたパイプラインで画像を生成することによる広範な計算要求と、記憶されたトレーニング例以外の一般化の2つの限界に悩まされている。 我々はこれらの非効率性に対処する新しい強化学習ベースのフレームワークを導入する。 提案手法は,まず,画像品質スコアを即時ワークフローの組み合わせから直接予測できる報奨モデルのアンサンブルを訓練し,トレーニング中にコストのかかる画像生成の必要性を解消する。 次に、最初のワークフロー語彙学習に続いて、GRPOベースの最適化により、ワークフロー空間のより高いパフォーマンス領域に向けてモデルをガイドする2段階のトレーニング戦略を実装します。 さらに,初期モデルとGRPOモデル間の経路を補間し,出力品質を向上する,分類器不要なガイダンスベース拡張手法を取り入れた。 提案手法を一連の比較によって検証し,より多様性の高い新たなフローを創出し,既存のベースラインと比較して画質が向上することを示す。

関連論文リスト

• Boosting Generative Image Modeling via Joint Image-Feature Synthesis [10.32324138962724]
  低レベル画像潜在者を共同でモデル化するために拡散モデルを活用することで、ギャップをシームレスに橋渡しする新しい生成画像モデリングフレームワークを提案する。 我々の潜在セマンティック拡散アプローチは、純雑音からコヒーレントな画像-特徴対を生成することを学ぶ。 複雑な蒸留目的の必要をなくすことで、我々の統一設計は訓練を単純化し、強力な新しい推論戦略である表現誘導を解き放つ。
  論文  参考訳（メタデータ） (2025-04-22T17:41:42Z)
• Can We Generate Images with CoT? Let's Verify and Reinforce Image Generation Step by Step [77.86514804787622]
  CoT(Chain-of-Thought)推論は、複雑な理解タスクに取り組むために大規模なモデルで広く研究されている。 自己回帰画像生成を促進するために,CoT推論の可能性について,初めて包括的調査を行った。 本稿では,自動回帰画像生成に特化したPARMとPARM++を提案する。
  論文  参考訳（メタデータ） (2025-01-23T18:59:43Z)
• High-Resolution Image Synthesis via Next-Token Prediction [19.97037318862443]
  連続トークンに基づく自己回帰モデルである textbfD-JEPA$cdot$T2I を導入し、任意の解像度で高品質なフォトリアリスティック画像を最大4Kで生成する。 次世代の予測により,最先端の高精細画像合成を実現する。
  論文  参考訳（メタデータ） (2024-11-22T09:08:58Z)
• A Simple Approach to Unifying Diffusion-based Conditional Generation [63.389616350290595]
  多様な条件生成タスクを処理するための、シンプルで統一されたフレームワークを導入します。 提案手法は,異なる推論時間サンプリング方式による多目的化を実現する。 我々のモデルは、非親密なアライメントや粗い条件付けのような追加機能をサポートしています。
  論文  参考訳（メタデータ） (2024-10-15T09:41:43Z)
• ComfyGen: Prompt-Adaptive Workflows for Text-to-Image Generation [87.39861573270173]
  本稿では,各ユーザプロンプトに自動的にワークフローをカスタマイズすることを目的とする,プロンプト適応型ワークフロー生成の新しいタスクを紹介する。 本稿では,この課題に対処する2つの LLM ベースの手法を提案する。ユーザ・参照データから学習するチューニングベース手法と,既存のフローを選択するために LLM を使用するトレーニングフリー手法である。 本研究は,現場における既存研究の方向性を補完し,テキスト・画像生成の品質向上のための新たな経路を提供することを示す。
  論文  参考訳（メタデータ） (2024-10-02T16:43:24Z)
• Batch-Instructed Gradient for Prompt Evolution:Systematic Prompt Optimization for Enhanced Text-to-Image Synthesis [3.783530340696776]
  本研究では,テキスト・画像生成モデルの入力プロンプトを最適化するマルチエージェントフレームワークを提案する。 プロのプロンプトデータベースは、命令修飾子を高精細なプロンプトを生成するためのベンチマークとして機能する。 予備的アブレーション研究は、様々なシステムコンポーネントの有効性を強調し、今後の改善の分野を提案する。
  論文  参考訳（メタデータ） (2024-06-13T00:33:29Z)
• LeftRefill: Filling Right Canvas based on Left Reference through Generalized Text-to-Image Diffusion Model [55.20469538848806]
  leftRefillは、参照誘導画像合成のための大規模なテキスト・ツー・イメージ(T2I)拡散モデルを利用する革新的なアプローチである。 本稿では、参照誘導画像合成に大規模なテキスト・ツー・イメージ拡散モデル(T2I)を効果的に活用するための革新的なアプローチであるLeftRefillを紹介する。
  論文  参考訳（メタデータ） (2023-05-19T10:29:42Z)
• A Generic Approach for Enhancing GANs by Regularized Latent Optimization [79.00740660219256]
  本稿では,事前学習したGANを効果的かつシームレスに拡張できる,エミュレーティブモデル推論と呼ばれる汎用フレームワークを提案する。 我々の基本的な考え方は、ワッサーシュタイン勾配流法を用いて与えられた要求に対する最適潜時分布を効率的に推算することである。
  論文  参考訳（メタデータ） (2021-12-07T05:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。