論文の概要: LayerCraft: Enhancing Text-to-Image Generation with CoT Reasoning and Layered Object Integration
- arxiv url: http://arxiv.org/abs/2504.00010v2
- Date: Sat, 31 May 2025 20:45:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-03 16:22:43.252481
- Title: LayerCraft: Enhancing Text-to-Image Generation with CoT Reasoning and Layered Object Integration
- Title（参考訳）: LayerCraft: CoT推論とレイヤオブジェクト統合によるテキスト・ツー・イメージ生成の強化
- Authors: Yuyao Zhang, Jinghao Li, Yu-Wing Tai,
- Abstract要約: 構造化され、階層化された画像生成と編集をオーケストレーションするモジュラーフレームワークであるtextbfLayerCraftを紹介します。
LayerCraftは2つの主要な機能をサポートしている: $textitstructured generation$ from simple prompts via chain-of-thinkt reasoning, $textitlayered object integration$ ユーザーはオブジェクトを挿入してカスタマイズできる。
このシステムはコーディネータエージェントと、CoT駆動レイアウト計画のための$textbfChainArchitect$と、オフザシェルフを使用したシームレスな画像編集のための$textbfObject Integration Network (OIN)$で構成されている。
- 参考スコア（独自算出の注目度）: 43.14335596346725
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Text-to-image (T2I) generation has made remarkable progress, yet existing systems still lack intuitive control over spatial composition, object consistency, and multi-step editing. We present $\textbf{LayerCraft}$, a modular framework that uses large language models (LLMs) as autonomous agents to orchestrate structured, layered image generation and editing. LayerCraft supports two key capabilities: (1) $\textit{structured generation}$ from simple prompts via chain-of-thought (CoT) reasoning, enabling it to decompose scenes, reason about object placement, and guide composition in a controllable, interpretable manner; and (2) $\textit{layered object integration}$, allowing users to insert and customize objects -- such as characters or props -- across diverse images or scenes while preserving identity, context, and style. The system comprises a coordinator agent, the $\textbf{ChainArchitect}$ for CoT-driven layout planning, and the $\textbf{Object Integration Network (OIN)}$ for seamless image editing using off-the-shelf T2I models without retraining. Through applications like batch collage editing and narrative scene generation, LayerCraft empowers non-experts to iteratively design, customize, and refine visual content with minimal manual effort. Code will be released at https://github.com/PeterYYZhang/LayerCraft.
- Abstract（参考訳）: テキスト・ツー・イメージ(T2I)生成は目覚ましい進歩を遂げているが、既存のシステムでは空間構成、オブジェクトの一貫性、マルチステップ編集の直感的な制御が欠けている。
我々は,大規模言語モデル(LLM)を自律的エージェントとして使用するモジュール型フレームワークである$\textbf{LayerCraft}$を紹介した。
1) $\textit{structured generation}$ from simple prompts via chain-of- Thought (CoT) reasoning, allowing it to discompose scene, reason about object placement, and guide composition in a controllable, interpretable manner; (2) $\textit{layered object integration}$ ユーザーは、アイデンティティ、コンテキスト、スタイルを保存しながら、さまざまな画像やシーンに対して、文字やプロップなどのオブジェクトを挿入、カスタマイズできる。
このシステムはコーディネータエージェントと、CoT駆動レイアウト計画のための$\textbf{ChainArchitect}$と、既製のT2Iモデルを使用したシームレスな画像編集のための$\textbf{Object Integration Network (OIN)$で構成されている。
バッチコラージュ編集や物語シーン生成などのアプリケーションを通じて、LayerCraftは、最小限の手作業でビジュアルコンテンツを反復的に設計、カスタマイズ、洗練する非専門家に権限を与える。
コードはhttps://github.com/PeterYYZhang/LayerCraft.comでリリースされる。
関連論文リスト
- GraPE: A Generate-Plan-Edit Framework for Compositional T2I Synthesis [10.47359822447001]
本稿では,複雑な多段階生成のタスクを3段階に分解する,T2I合成の代替パラダイムを提案する。
提案手法は,モジュール性が高く,トレーニングが自由であり,画像生成モデルと編集モデルの組み合わせに対して適用可能であるという事実から,その強みを導出する。
論文 参考訳（メタデータ） (2024-12-08T22:29:56Z) - Architect: Generating Vivid and Interactive 3D Scenes with Hierarchical 2D Inpainting [47.014044892025346]
Architectは、拡散ベースの2Dイメージのインペイントを活用する、複雑で現実的な3Dエボダイド環境を作成する、生成フレームワークである。
我々のパイプラインはさらに階層的かつ反復的な塗装プロセスに拡張され、大きな家具や小さな物体の配置を連続的に生成し、シーンを豊かにする。
論文 参考訳（メタデータ） (2024-11-14T22:15:48Z) - SGEdit: Bridging LLM with Text2Image Generative Model for Scene Graph-based Image Editing [42.23117201457898]
本稿では,大規模言語モデル(LLM)とText2生成モデルを統合し,グラフベースの画像編集を行う新しいフレームワークを提案する。
本フレームワークは,編集精度とシーン美学の観点から,既存の画像編集手法を著しく上回っている。
論文 参考訳（メタデータ） (2024-10-15T17:40:48Z) - A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models [117.77807994397784]
画像編集は、ユーザーが特定の要求を満たすために、与えられた合成画像または実際の画像を編集することを目的としている。
この分野での最近の顕著な進歩は、テキスト・ツー・イメージ(T2I)拡散モデルの開発に基づいている。
T2Iベースの画像編集手法は、編集性能を大幅に向上させ、マルチモーダル入力でガイドされたコンテンツを修正するためのユーザフレンドリーなインタフェースを提供する。
論文 参考訳（メタデータ） (2024-06-20T17:58:52Z) - StoryImager: A Unified and Efficient Framework for Coherent Story Visualization and Completion [78.1014542102578]
ストーリービジュアライゼーションは、ストーリーラインに基づいて現実的で一貫性のある画像を生成することを目的としている。
現在のモデルは、事前訓練されたテキストから画像へのモデルを自動回帰的な方法で変換することで、フレーム・バイ・フレームアーキテクチャを採用している。
双方向で統一的で効率的なフレームワーク,すなわちStoryImagerを提案する。
論文 参考訳（メタデータ） (2024-04-09T03:22:36Z) - Automated Black-box Prompt Engineering for Personalized Text-to-Image Generation [149.96612254604986]
PRISMは人間の解釈可能なプロンプトを自動生成するアルゴリズムである。
大規模言語モデル(LLM)のジェイルブレイクにインスパイアされたPRISMは、LLMのコンテキスト内学習能力を活用して、候補のプロンプト分布を反復的に洗練する。
本実験は,複数のT2Iモデルのオブジェクト,スタイル,画像の正確なプロンプトを生成する上で,PRISMの有効性と有効性を示すものである。
論文 参考訳（メタデータ） (2024-03-28T02:35:53Z) - Divide and Conquer: Language Models can Plan and Self-Correct for
Compositional Text-to-Image Generation [72.6168579583414]
CompAgentは、大規模な言語モデル(LLM)エージェントをコアとして、コンポジションテキスト・画像生成のためのトレーニング不要のアプローチである。
提案手法は,オープンワールド合成T2I生成のための総合的なベンチマークであるT2I-CompBenchに対して10%以上の改善を達成している。
論文 参考訳（メタデータ） (2024-01-28T16:18:39Z) - SingleInsert: Inserting New Concepts from a Single Image into
Text-to-Image Models for Flexible Editing [59.3017821001455]
SingleInsert(シングルインサート)は、イメージ・トゥ・テキスト(I2T)のインバージョン手法であり、同じ概念を含む単一のソースイメージを持つ。
本研究では,SingleInsertという,シングルイメージI2Tインバージョンのためのシンプルで効果的なベースラインを提案する。
提案手法により、SingleInsertは、フレキシブルな編集を可能にしながら、高い視覚的忠実度でシングルコンセプト生成に優れる。
論文 参考訳（メタデータ） (2023-10-12T07:40:39Z) - CCEdit: Creative and Controllable Video Editing via Diffusion Models [58.34886244442608]
CCEditは拡散モデルに基づく多用途な生成ビデオ編集フレームワークである。
我々のアプローチは、構造と外観制御を分離する新しいトリデントネットワーク構造を用いる。
ユーザスタディでは,CCEditと8つの最先端のビデオ編集手法を比較した。
論文 参考訳（メタデータ） (2023-09-28T15:03:44Z) - TaleCrafter: Interactive Story Visualization with Multiple Characters [49.14122401339003]
本稿では,ジェネリック・インタラクティブ・ストーリー・ビジュアライゼーションシステムを提案する。
複数の新しい文字を扱うことができ、レイアウトと局所構造の編集をサポートする。
システムは、ストーリー・ツー・プロンプト・ジェネレーション(S2P)、テキスト・ツー・ジェネレーション(T2L)、制御可能なテキスト・ツー・イメージ・ジェネレーション(C-T2I)、画像・トゥ・ビデオ・アニメーション(I2V)の4つの相互接続コンポーネントからなる。
論文 参考訳（メタデータ） (2023-05-29T17:11:39Z) - PAIR-Diffusion: A Comprehensive Multimodal Object-Level Image Editor [135.17302411419834]
PAIR Diffusionは、画像内の各オブジェクトの構造と外観を制御する拡散モデルを可能にする汎用フレームワークである。
画像中の各オブジェクトのプロパティを制御できることが、包括的な編集機能に繋がることを示す。
我々のフレームワークは、参照画像ベースの外観編集、自由形形状編集、オブジェクトの追加、バリエーションなど、実際の画像に対する様々なオブジェクトレベルの編集操作を可能にする。
論文 参考訳（メタデータ） (2023-03-30T17:13:56Z) - Bringing Image Scene Structure to Video via Frame-Clip Consistency of
Object Tokens [93.98605636451806]
StructureViTは、トレーニング中にのみ利用可能な少数の画像の構造を利用することで、ビデオモデルを改善する方法を示している。
SViTでは、複数のビデオ理解タスクとデータセットのパフォーマンスが大幅に向上している。
論文 参考訳（メタデータ） (2022-06-13T17:45:05Z) - Aggregated Contextual Transformations for High-Resolution Image
Inpainting [57.241749273816374]
画像の高精細化のための拡張GANモデルAggregated Contextual-Transformation GAN (AOT-GAN)を提案する。
そこで,提案するAOTブロックの複数のレイヤを積み重ねることで,AOT-GANのジェネレータを構築する。
テクスチャ合成を改善するため,AOT-GANの識別をマスク予測タスクでトレーニングすることで強化する。
論文 参考訳（メタデータ） (2021-04-03T15:50:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。