論文の概要: Learning to Sample Effective and Diverse Prompts for Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2502.11477v1
• Date: Mon, 17 Feb 2025 06:28:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:10:45.890667
• Title: Learning to Sample Effective and Diverse Prompts for Text-to-Image Generation
• Title（参考訳）: テキスト・ツー・イメージ生成のための有効・多角的プロンプトのサンプル学習
• Authors: Taeyoung Yun, Dinghuai Zhang, Jinkyoo Park, Ling Pan,
• Abstract要約: 本稿では,元のプロンプトをモデル優先のプロンプトに洗練し,所望の画像を生成するプロンプト適応に着目する。 textbfGFlowNets (textbfPAG) を用いた textbfPrompt textbfAdaptation を導入する。
• 参考スコア（独自算出の注目度）: 34.08660401151558
• License:
• Abstract: Recent advances in text-to-image diffusion models have achieved impressive image generation capabilities. However, it remains challenging to control the generation process with desired properties (e.g., aesthetic quality, user intention), which can be expressed as black-box reward functions. In this paper, we focus on prompt adaptation, which refines the original prompt into model-preferred prompts to generate desired images. While prior work uses reinforcement learning (RL) to optimize prompts, we observe that applying RL often results in generating similar postfixes and deterministic behaviors. To this end, we introduce \textbf{P}rompt \textbf{A}daptation with \textbf{G}FlowNets (\textbf{PAG}), a novel approach that frames prompt adaptation as a probabilistic inference problem. Our key insight is that leveraging Generative Flow Networks (GFlowNets) allows us to shift from reward maximization to sampling from an unnormalized density function, enabling both high-quality and diverse prompt generation. However, we identify that a naive application of GFlowNets suffers from mode collapse and uncovers a previously overlooked phenomenon: the progressive loss of neural plasticity in the model, which is compounded by inefficient credit assignment in sequential prompt generation. To address this critical challenge, we develop a systematic approach in PAG with flow reactivation, reward-prioritized sampling, and reward decomposition for prompt adaptation. Extensive experiments validate that PAG successfully learns to sample effective and diverse prompts for text-to-image generation. We also show that PAG exhibits strong robustness across various reward functions and transferability to different text-to-image models.
• Abstract（参考訳）: テキスト・画像拡散モデルの最近の進歩は印象的な画像生成機能を実現している。 しかし、ブラックボックス報酬関数として表現できる、望ましい特性(例えば、審美的品質、ユーザ意図)で生成プロセスを制御することは依然として困難である。 本稿では,元のプロンプトをモデル優先のプロンプトに洗練し,所望の画像を生成するプロンプト適応に着目した。 事前の作業では、プロンプトを最適化するために強化学習(RL)を使用していたが、RLを適用すると、しばしば同様のポストフィックスや決定論的振る舞いが生成される。 この目的のために、確率的推論問題として適応を早める新しいアプローチである \textbf{P}rompt \textbf{A}daptation with \textbf{G}FlowNets (\textbf{PAG})を導入する。 我々の重要な洞察は、生成フローネットワーク(GFlowNets)を利用することで、報酬の最大化から非正規化密度関数からのサンプリングへの移行が可能になり、高品質かつ多様なプロンプト生成を可能にします。 しかし、GFlowNetsの単純な応用はモード崩壊に悩まされ、それまで見過ごされていた現象が明らかになる。 この重要な課題に対処するため,我々はPAGにおけるフロー再活性化,報奨優先サンプリング,報奨分解による迅速な適応のための体系的アプローチを開発した。 大規模な実験により、PAGはテキスト・ツー・イメージ生成のために効果的で多様なプロンプトをサンプリングすることに成功した。 また、PAGは様々な報酬関数に対して強い堅牢性を示し、異なるテキスト・ツー・イメージモデルに転送可能であることを示す。

関連論文リスト

• FRAP: Faithful and Realistic Text-to-Image Generation with Adaptive Prompt Weighting [18.708185548091716]
  FRAPは、画像毎のプロンプト重み付けを適応的に調整し、生成した画像の即時アライメントと認証を改善するための、シンプルで効果的なアプローチである。 FRAPは、複雑なデータセットからのプロンプトに対して、プロンプト画像のアライメントが著しく高い画像を生成する。 また, FRAPとLPMの即時書き直しを併用して, 劣化した即時画像のアライメントを復元する方法について検討した。
  論文  参考訳（メタデータ） (2024-08-21T15:30:35Z)
• Batch-Instructed Gradient for Prompt Evolution:Systematic Prompt Optimization for Enhanced Text-to-Image Synthesis [3.783530340696776]
  本研究では,テキスト・画像生成モデルの入力プロンプトを最適化するマルチエージェントフレームワークを提案する。 プロのプロンプトデータベースは、命令修飾子を高精細なプロンプトを生成するためのベンチマークとして機能する。 予備的アブレーション研究は、様々なシステムコンポーネントの有効性を強調し、今後の改善の分野を提案する。
  論文  参考訳（メタデータ） (2024-06-13T00:33:29Z)
• Improving GFlowNets for Text-to-Image Diffusion Alignment [48.42367859859971]
  報酬を直接最大化するのではなく,比較的高い確率で高解像度画像を生成する手法を探索する。 提案手法は,大規模テキスト・画像拡散モデルと報酬情報とを効果的に一致させることができる。
  論文  参考訳（メタデータ） (2024-06-02T06:36:46Z)
• Dynamic Prompt Optimizing for Text-to-Image Generation [63.775458908172176]
  テキストから画像への生成モデルを改善するために,textbfPrompt textbfAuto-textbfEditing (PAE)法を導入する。 我々は、各単語の重みと射出時間ステップを探索するために、オンライン強化学習戦略を採用し、動的微調整プロンプトを導いた。
  論文  参考訳（メタデータ） (2024-04-05T13:44:39Z)
• Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [65.7968515029306]
  PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。 認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
  論文  参考訳（メタデータ） (2024-02-28T06:07:07Z)
• A User-Friendly Framework for Generating Model-Preferred Prompts in Text-to-Image Synthesis [33.71897211776133]
  よく設計されたプロンプトは、素晴らしい画像を生成する際にテキストと画像のモデルをガイドする可能性を実証している。 初心者にとっては、手動でプロンプトを入力することで、望ましい結果を達成することは困難である。 本稿では,ユーザ入力プロンプトをモデル優先プロンプトに自動的に変換する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-20T06:58:49Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models [56.88192537044364]
  本研究では,事前学習拡散モデルに対するセマンティック・アダプタ (SUR-adapter) と呼ばれる簡易なパラメータ効率の良い微調整手法を提案する。 ユーザエクスペリエンスの向上により,テキストから画像への拡散モデルの使いやすさが向上する。
  論文  参考訳（メタデータ） (2023-05-09T05:48:38Z)
• Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models [103.61066310897928]
  最近のテキスト・ツー・イメージ生成モデルは、ターゲットのテキスト・プロンプトによって導かれる多様な創造的な画像を生成する非例外的な能力を実証している。 革命的ではあるが、現在の最先端拡散モデルは、与えられたテキストプロンプトのセマンティクスを完全に伝達するイメージの生成に失敗する可能性がある。 本研究では, 一般に公開されている安定拡散モデルを分析し, 破滅的無視の有無を評価し, そのモデルが入力プロンプトから1つ以上の被写体を生成するのに失敗した場合について検討する。 提案するジェネレーティブ・セマンティック・ナーシング(GSN)の概念は、推論時間中にハエの生殖過程に介入し、忠実性を改善するものである。
  論文  参考訳（メタデータ） (2023-01-31T18:10:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。