論文の概要: Divide and Conquer: Language Models can Plan and Self-Correct for
Compositional Text-to-Image Generation
- arxiv url: http://arxiv.org/abs/2401.15688v2
- Date: Tue, 30 Jan 2024 13:05:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 11:33:34.199403
- Title: Divide and Conquer: Language Models can Plan and Self-Correct for
Compositional Text-to-Image Generation
- Title(参考訳): ディバイドとコンカー: 合成テキスト・画像生成のための言語モデルの構築と自己補正
- Authors: Zhenyu Wang, Enze Xie, Aoxue Li, Zhongdao Wang, Xihui Liu, Zhenguo Li
- Abstract要約: CompAgentは、大規模な言語モデル(LLM)エージェントをコアとして、コンポジションテキスト・画像生成のためのトレーニング不要のアプローチである。
提案手法は,オープンワールド合成T2I生成のための総合的なベンチマークであるT2I-CompBenchに対して10%以上の改善を達成している。
- 参考スコア(独自算出の注目度): 72.6168579583414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite significant advancements in text-to-image models for generating
high-quality images, these methods still struggle to ensure the controllability
of text prompts over images in the context of complex text prompts, especially
when it comes to retaining object attributes and relationships. In this paper,
we propose CompAgent, a training-free approach for compositional text-to-image
generation, with a large language model (LLM) agent as its core. The
fundamental idea underlying CompAgent is premised on a divide-and-conquer
methodology. Given a complex text prompt containing multiple concepts including
objects, attributes, and relationships, the LLM agent initially decomposes it,
which entails the extraction of individual objects, their associated
attributes, and the prediction of a coherent scene layout. These individual
objects can then be independently conquered. Subsequently, the agent performs
reasoning by analyzing the text, plans and employs the tools to compose these
isolated objects. The verification and human feedback mechanism is finally
incorporated into our agent to further correct the potential attribute errors
and refine the generated images. Guided by the LLM agent, we propose a
tuning-free multi-concept customization model and a layout-to-image generation
model as the tools for concept composition, and a local image editing method as
the tool to interact with the agent for verification. The scene layout controls
the image generation process among these tools to prevent confusion among
multiple objects. Extensive experiments demonstrate the superiority of our
approach for compositional text-to-image generation: CompAgent achieves more
than 10\% improvement on T2I-CompBench, a comprehensive benchmark for
open-world compositional T2I generation. The extension to various related tasks
also illustrates the flexibility of our CompAgent for potential applications.
- Abstract(参考訳): 高品質な画像を生成するためのテキストから画像へのモデルの大幅な進歩にもかかわらず、これらの方法は、複雑なテキストプロンプトの文脈において、特にオブジェクト属性とリレーションシップを保持する場合において、画像よりもテキストプロンプトの制御可能性を保証するのに苦労している。
本稿では,大規模言語モデル (llm) エージェントをコアとする合成テキスト対画像生成のためのトレーニングフリー手法であるcompagentを提案する。
CompAgentの根底にある基本的な考え方は、分割・分散の方法論に基づいている。
オブジェクト、属性、および関係を含む複数の概念を含む複雑なテキストプロンプトが与えられると、llmエージェントは最初それを分解し、個々のオブジェクトの抽出、それらの関連属性、そしてコヒーレントなシーンレイアウトの予測を伴います。
これらの個々の物体は独立して征服される。
その後、エージェントはテキスト、計画を分析して推論を行い、これらの孤立したオブジェクトを構成するツールを使用する。
評価と人的フィードバックのメカニズムを最終的にエージェントに組み込んで、潜在的な属性エラーを補正し、生成した画像を精査する。
llmエージェントの指導により、概念合成のためのツールとして、チューニングフリーなマルチコンセプタカスタマイズモデルとレイアウト・ツー・イメージ生成モデル、検証のためにエージェントと対話するツールとしてローカル画像編集方法を提案する。
シーンレイアウトは、これらのツール間の画像生成プロセスを制御し、複数のオブジェクト間の混乱を防止する。
CompAgentは、オープンワールドコンポジションT2I生成の総合ベンチマークであるT2I-CompBenchに対して、10%以上の改善を実現しています。
関連タスクの拡張は、潜在的なアプリケーションに対するコンパレータの柔軟性も示しています。
関連論文リスト
- Gen4Gen: Generative Data Pipeline for Generative Multi-Concept
Composition [47.07564907486087]
近年のテキスト・画像拡散モデルでは,新規でパーソナライズされた概念を含む画像の学習と合成が可能となっている。
本稿では,テキスト・画像拡散モデルのパーソナライズという領域における2つの相互接続問題に取り組む。
論文 参考訳(メタデータ) (2024-02-23T18:55:09Z) - LLM Blueprint: Enabling Text-to-Image Generation with Complex and
Detailed Prompts [60.54912319612113]
拡散に基づく生成モデルは、テキストと画像の生成が著しく進歩するが、長く複雑なテキストプロンプトを処理する際には困難に直面する。
本稿では,Large Language Models (LLM) を利用してテキストプロンプトから重要なコンポーネントを抽出する手法を提案する。
複数のオブジェクトを特徴とする複雑なプロンプトの評価は,ベースライン拡散モデルと比較して,リコールの大幅な改善を示す。
論文 参考訳(メタデータ) (2023-10-16T17:57:37Z) - TextCLIP: Text-Guided Face Image Generation And Manipulation Without
Adversarial Training [5.239585892767183]
本研究では,テキスト誘導画像生成と操作のための統合フレームワークであるTextCLIPを提案する。
提案手法は,テキスト誘導型生成タスクと操作タスクの両方において,既存の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2023-09-21T09:34:20Z) - T2I-CompBench: A Comprehensive Benchmark for Open-world Compositional
Text-to-image Generation [62.71574695256264]
T2I-CompBenchは、オープンワールドのコンポジションテキスト・ツー・イメージ生成のための包括的なベンチマークである。
合成テキスト・画像生成の評価に特化して設計されたいくつかの評価指標を提案する。
本稿では,ジェネレーティブmOdelファインタニングとReward-driven Sample selection (GORS)を導入することで,合成テキスト・画像生成能力を向上する手法を提案する。
論文 参考訳(メタデータ) (2023-07-12T17:59:42Z) - Generating Images with Multimodal Language Models [78.6660334861137]
本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。
本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
論文 参考訳(メタデータ) (2023-05-26T19:22:03Z) - Taming Encoder for Zero Fine-tuning Image Customization with
Text-to-Image Diffusion Models [55.04969603431266]
本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。
この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。
提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
論文 参考訳(メタデータ) (2023-04-05T17:59:32Z) - Text as Neural Operator: Image Manipulation by Text Instruction [68.53181621741632]
本稿では、複雑なテキスト命令を用いて複数のオブジェクトで画像を編集し、オブジェクトの追加、削除、変更を可能にする設定について検討する。
タスクの入力は、(1)参照画像を含むマルチモーダルであり、(2)所望の修正を記述した自然言語の命令である。
提案モデルは,最近の3つの公開データセットの強いベースラインに対して良好に動作することを示す。
論文 参考訳(メタデータ) (2020-08-11T07:07:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。