論文の概要: DivCon: Divide and Conquer for Progressive Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2403.06400v2
• Date: Fri, 16 Aug 2024 17:13:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 20:24:02.581343
• Title: DivCon: Divide and Conquer for Progressive Text-to-Image Generation
• Title（参考訳）: DivCon: プログレッシブテキスト・画像生成のためのディバイドとコンバータ
• Authors: Yuhao Jia, Wenhan Tan,
• Abstract要約: 拡散駆動型テキスト・ツー・イメージ(T2I)生成は顕著な進歩を遂げた。 レイアウトは、大きな言語モデルとレイアウトベースの拡散モデルを橋渡しするためのインターメジウムとして使用される。 本稿では,T2I生成タスクを単純なサブタスクに分解する分割対コンカレント手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-driven text-to-image (T2I) generation has achieved remarkable advancements. To further improve T2I models' capability in numerical and spatial reasoning, the layout is employed as an intermedium to bridge large language models and layout-based diffusion models. However, these methods still struggle with generating images from textural prompts with multiple objects and complicated spatial relationships. To tackle this challenge, we introduce a divide-and-conquer approach which decouples the T2I generation task into simple subtasks. Our approach divides the layout prediction stage into numerical & spatial reasoning and bounding box prediction. Then, the layout-to-image generation stage is conducted in an iterative manner to reconstruct objects from easy ones to difficult ones. We conduct experiments on the HRS and NSR-1K benchmarks and our approach outperforms previous state-of-the-art models with notable margins. In addition, visual results demonstrate that our approach significantly improves the controllability and consistency in generating multiple objects from complex textural prompts.
• Abstract（参考訳）: 拡散駆動型テキスト・ツー・イメージ(T2I)生成は顕著な進歩を遂げた。 数値的および空間的推論におけるT2Iモデルの能力をさらに向上するため、レイアウトは大きな言語モデルとレイアウトに基づく拡散モデルを橋渡しするための中間体として使用される。 しかし、これらの手法は、複数のオブジェクトと複雑な空間関係を持つテキストプロンプトから画像を生成するのに依然として苦労している。 この課題に対処するために、我々はT2I生成タスクを単純なサブタスクに分離する分割・コンカレントアプローチを導入する。 提案手法は,レイアウト予測段階を数値的・空間的推論と境界ボックス予測に分割する。 そして、レイアウト・ツー・イメージ生成段階を反復的に行い、簡単なものから難しいものへとオブジェクトを再構築する。 我々はHRSとNSR-1Kベンチマークで実験を行い、従来の最先端モデルよりも顕著なマージンで性能を向上する。 さらに,視覚的な結果から,複雑なテクスチャプロンプトから複数のオブジェクトを生成する際の制御性と一貫性が著しく向上することが示された。

関連論文リスト

• Generating Intermediate Representations for Compositional Text-To-Image Generation [16.757550214291015]
  2つの段階に基づくテキスト・画像生成のための合成手法を提案する。 第1段階では,テキストに条件付けされた1つ以上の中間表現を生成する拡散に基づく生成モデルを設計する。 第2段階では、これらの表現をテキストとともに、別個の拡散ベース生成モデルを用いて最終出力画像にマッピングする。
  論文  参考訳（メタデータ） (2024-10-13T10:24:55Z)
• Referee Can Play: An Alternative Approach to Conditional Generation via Model Inversion [35.21106030549071]
  拡散確率モデル(DPM)はテキスト・画像生成タスクにおいて支配的な力である。 先進視覚言語モデル(VLM)の逆転手法として、最先端DPMの代替的視点を提案する。 差別的VLMを監督した画像を直接最適化することにより、提案手法はより優れたテキスト画像アライメントを実現することができる。
  論文  参考訳（メタデータ） (2024-02-26T05:08:40Z)
• Direct Consistency Optimization for Compositional Text-to-Image Personalization [73.94505688626651]
  テキスト・ツー・イメージ(T2I)拡散モデルは、いくつかの個人画像に微調整された場合、高い一貫性で視覚を生成することができる。 本稿では,参照画像との整合性を最大化しつつ,事前学習したモデルからの偏差を補償することにより,T2Iモデルを微調整する。
  論文  参考訳（メタデータ） (2024-02-19T09:52:41Z)
• Reason out Your Layout: Evoking the Layout Master from Large Language Models for Text-to-Image Synthesis [47.27044390204868]
  本稿では,レイアウト生成器としてLarge Language Models (LLM) を用いたT2I拡散モデルの改良手法を提案する。 実験により,画像の画質とレイアウト精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-28T14:51:13Z)
• R&B: Region and Boundary Aware Zero-shot Grounded Text-to-image Generation [74.5598315066249]
  拡散モデルを用いてゼロショット接地T2I生成を探索する。 本稿では,地域境界(R&B)を意識したクロスアテンションガイダンス手法を提案する。
  論文  参考訳（メタデータ） (2023-10-13T05:48:42Z)
• SSMG: Spatial-Semantic Map Guided Diffusion Model for Free-form Layout-to-Image Generation [68.42476385214785]
  本稿では,レイアウトから派生した特徴写像を用いた空間意味マップガイド(SSMG)拡散モデルを提案する。 SSMGは,従来の研究に比べて空間的,意味的な制御性に優れた生成品質を実現する。 また,RSA(Relation-Sensitive Attention)機構とLSA(Location-Sensitive Attention)機構を提案する。
  論文  参考訳（メタデータ） (2023-08-20T04:09:12Z)
• LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models [62.75006608940132]
  本研究は,テキストから画像への拡散モデルにおいて,迅速な理解能力を高めることを提案する。 提案手法は,新たな2段階プロセスにおいて,事前訓練された大規模言語モデルを用いてグラウンドド生成を行う。 提案手法は,画像の正確な生成において,ベース拡散モデルといくつかの強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2023-05-23T03:59:06Z)
• Aggregated Contextual Transformations for High-Resolution Image Inpainting [57.241749273816374]
  画像の高精細化のための拡張GANモデルAggregated Contextual-Transformation GAN (AOT-GAN)を提案する。 そこで,提案するAOTブロックの複数のレイヤを積み重ねることで,AOT-GANのジェネレータを構築する。 テクスチャ合成を改善するため,AOT-GANの識別をマスク予測タスクでトレーニングすることで強化する。
  論文  参考訳（メタデータ） (2021-04-03T15:50:17Z)
• Object-Centric Image Generation from Layouts [93.10217725729468]
  複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。 本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。 本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
  論文  参考訳（メタデータ） (2020-03-16T21:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。