論文の概要: Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2401.15688v2
• Date: Tue, 30 Jan 2024 13:05:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 11:33:34.199403
• Title: Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation
• Title（参考訳）: ディバイドとコンカー: 合成テキスト・画像生成のための言語モデルの構築と自己補正
• Authors: Zhenyu Wang, Enze Xie, Aoxue Li, Zhongdao Wang, Xihui Liu, Zhenguo Li
• Abstract要約: CompAgentは、大規模な言語モデル(LLM)エージェントをコアとして、コンポジションテキスト・画像生成のためのトレーニング不要のアプローチである。 提案手法は,オープンワールド合成T2I生成のための総合的なベンチマークであるT2I-CompBenchに対して10%以上の改善を達成している。
• 参考スコア（独自算出の注目度）: 72.6168579583414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite significant advancements in text-to-image models for generating high-quality images, these methods still struggle to ensure the controllability of text prompts over images in the context of complex text prompts, especially when it comes to retaining object attributes and relationships. In this paper, we propose CompAgent, a training-free approach for compositional text-to-image generation, with a large language model (LLM) agent as its core. The fundamental idea underlying CompAgent is premised on a divide-and-conquer methodology. Given a complex text prompt containing multiple concepts including objects, attributes, and relationships, the LLM agent initially decomposes it, which entails the extraction of individual objects, their associated attributes, and the prediction of a coherent scene layout. These individual objects can then be independently conquered. Subsequently, the agent performs reasoning by analyzing the text, plans and employs the tools to compose these isolated objects. The verification and human feedback mechanism is finally incorporated into our agent to further correct the potential attribute errors and refine the generated images. Guided by the LLM agent, we propose a tuning-free multi-concept customization model and a layout-to-image generation model as the tools for concept composition, and a local image editing method as the tool to interact with the agent for verification. The scene layout controls the image generation process among these tools to prevent confusion among multiple objects. Extensive experiments demonstrate the superiority of our approach for compositional text-to-image generation: CompAgent achieves more than 10\% improvement on T2I-CompBench, a comprehensive benchmark for open-world compositional T2I generation. The extension to various related tasks also illustrates the flexibility of our CompAgent for potential applications.
• Abstract（参考訳）: 高品質な画像を生成するためのテキストから画像へのモデルの大幅な進歩にもかかわらず、これらの方法は、複雑なテキストプロンプトの文脈において、特にオブジェクト属性とリレーションシップを保持する場合において、画像よりもテキストプロンプトの制御可能性を保証するのに苦労している。 本稿では,大規模言語モデル (llm) エージェントをコアとする合成テキスト対画像生成のためのトレーニングフリー手法であるcompagentを提案する。 CompAgentの根底にある基本的な考え方は、分割・分散の方法論に基づいている。 オブジェクト、属性、および関係を含む複数の概念を含む複雑なテキストプロンプトが与えられると、llmエージェントは最初それを分解し、個々のオブジェクトの抽出、それらの関連属性、そしてコヒーレントなシーンレイアウトの予測を伴います。 これらの個々の物体は独立して征服される。 その後、エージェントはテキスト、計画を分析して推論を行い、これらの孤立したオブジェクトを構成するツールを使用する。 評価と人的フィードバックのメカニズムを最終的にエージェントに組み込んで、潜在的な属性エラーを補正し、生成した画像を精査する。 llmエージェントの指導により、概念合成のためのツールとして、チューニングフリーなマルチコンセプタカスタマイズモデルとレイアウト・ツー・イメージ生成モデル、検証のためにエージェントと対話するツールとしてローカル画像編集方法を提案する。 シーンレイアウトは、これらのツール間の画像生成プロセスを制御し、複数のオブジェクト間の混乱を防止する。 CompAgentは、オープンワールドコンポジションT2I生成の総合ベンチマークであるT2I-CompBenchに対して、10%以上の改善を実現しています。 関連タスクの拡張は、潜在的なアプリケーションに対するコンパレータの柔軟性も示しています。

関連論文リスト

• GenArtist: Multimodal LLM as an Agent for Unified Image Generation and Editing [60.09562648953926]
  GenArtistは、マルチモーダル大言語モデル(MLLM)エージェントによって調整された統合画像生成および編集システムである。 ツールライブラリに既存のモデルを包括的に統合し,ツールの選択と実行にエージェントを利用する。 実験により、GenArtistは様々な生成および編集タスクを実行でき、最先端のパフォーマンスを達成できることが示された。
  論文  参考訳（メタデータ） (2024-07-08T04:30:53Z)
• LLM4GEN: Leveraging Semantic Representation of LLMs for Text-to-Image Generation [30.897935761304034]
  我々はtextbfLLM4GEN という新しいフレームワークを提案する。 特別に設計されたクロスアダプタモジュール(CAM)は、テキスト・ツー・イメージ・モデルのオリジナルのテキスト機能とLLM機能を統合する。 7000ドルの高密度プロンプトを含むDensePromptsは、テキスト・画像生成タスクの包括的な評価を提供する。
  論文  参考訳（メタデータ） (2024-06-30T15:50:32Z)
• Prompt-Consistency Image Generation (PCIG): A Unified Framework Integrating LLMs, Knowledge Graphs, and Controllable Diffusion Models [20.19571676239579]
  生成した画像と対応する記述とのアライメントを強化するための,拡散に基づく新しいフレームワークを提案する。 この枠組みは不整合現象の包括的解析に基づいて構築され,画像の表示に基づいて分類する。 次に、最先端の制御可能な画像生成モデルとビジュアルテキスト生成モジュールを統合し、元のプロンプトと整合した画像を生成する。
  論文  参考訳（メタデータ） (2024-06-24T06:12:16Z)
• A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models [117.77807994397784]
  画像編集は、ユーザーが特定の要求を満たすために、与えられた合成画像または実際の画像を編集することを目的としている。 この分野での最近の顕著な進歩は、テキスト・ツー・イメージ(T2I)拡散モデルの開発に基づいている。 T2Iベースの画像編集手法は、編集性能を大幅に向上させ、マルチモーダル入力でガイドされたコンテンツを修正するためのユーザフレンドリーなインタフェースを提供する。
  論文  参考訳（メタデータ） (2024-06-20T17:58:52Z)
• LTOS: Layout-controllable Text-Object Synthesis via Adaptive Cross-attention Fusions [31.125592382816375]
  制御可能なテキスト・ツー・イメージ生成は、ある条件下で画像中の視覚的テキストやオブジェクトを合成する。 ビジュアルテキストレンダリングとレイアウト・ツー・イメージ生成タスクは、制御可能なテキスト・ツー・イメージ生成で人気がある。 本稿では,テキストレンダリングとレイアウト・ツー・イメージ生成タスクをひとつのタスクに統合する。
  論文  参考訳（メタデータ） (2024-04-21T08:37:43Z)
• LLM Blueprint: Enabling Text-to-Image Generation with Complex and Detailed Prompts [60.54912319612113]
  拡散に基づく生成モデルは、テキストと画像の生成が著しく進歩するが、長く複雑なテキストプロンプトを処理する際には困難に直面する。 本稿では,Large Language Models (LLM) を利用してテキストプロンプトから重要なコンポーネントを抽出する手法を提案する。 複数のオブジェクトを特徴とする複雑なプロンプトの評価は,ベースライン拡散モデルと比較して,リコールの大幅な改善を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:57:37Z)
• T2I-CompBench: A Comprehensive Benchmark for Open-world Compositional Text-to-image Generation [62.71574695256264]
  T2I-CompBenchは、オープンワールドのコンポジションテキスト・ツー・イメージ生成のための包括的なベンチマークである。 合成テキスト・画像生成の評価に特化して設計されたいくつかの評価指標を提案する。 本稿では,ジェネレーティブmOdelファインタニングとReward-driven Sample selection (GORS)を導入することで,合成テキスト・画像生成能力を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T17:59:42Z)
• Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models [55.04969603431266]
  本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。 この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。 提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-05T17:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。