Fugu-MT 論文翻訳(概要): Draw Like an Artist: Complex Scene Generation with Diffusion Model via Composition, Painting, and Retouching

論文の概要: Draw Like an Artist: Complex Scene Generation with Diffusion Model via Composition, Painting, and Retouching

arxiv url: http://arxiv.org/abs/2408.13858v1
Date: Sun, 25 Aug 2024 15:05:32 GMT
ステータス: 処理完了
システム内更新日: 2024-08-27 15:42:00.382615
Title: Draw Like an Artist: Complex Scene Generation with Diffusion Model via Composition, Painting, and Retouching
Title（参考訳）: アーティストの絵のような: 構成、絵画、そしてリタッチによる拡散モデルによる複雑なシーン生成
Authors: Minghao Liu, Le Zhang, Yingjie Tian, Xiaochao Qu, Luoqi Liu, Ting Liu,
Abstract要約: 複雑なシーンを正確に定義し、この定義に基づいて複雑な分解基準(CDC)を導入する。アーティストの絵を描くプロセスに触発されて,コンプレックス拡散(CxD)と呼ばれる学習自由拡散フレームワークを提案し,その過程を3段階に分けて構成,絵画,リタッチを行う。
参考スコア（独自算出の注目度）: 16.98431990178662
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Recent advances in text-to-image diffusion models have demonstrated impressive capabilities in image quality. However, complex scene generation remains relatively unexplored, and even the definition of `complex scene' itself remains unclear. In this paper, we address this gap by providing a precise definition of complex scenes and introducing a set of Complex Decomposition Criteria (CDC) based on this definition. Inspired by the artists painting process, we propose a training-free diffusion framework called Complex Diffusion (CxD), which divides the process into three stages: composition, painting, and retouching. Our method leverages the powerful chain-of-thought capabilities of large language models (LLMs) to decompose complex prompts based on CDC and to manage composition and layout. We then develop an attention modulation method that guides simple prompts to specific regions to complete the complex scene painting. Finally, we inject the detailed output of the LLM into a retouching model to enhance the image details, thus implementing the retouching stage. Extensive experiments demonstrate that our method outperforms previous SOTA approaches, significantly improving the generation of high-quality, semantically consistent, and visually diverse images for complex scenes, even with intricate prompts.
Abstract（参考訳）: テキスト・画像拡散モデルの最近の進歩は、画像品質において印象的な能力を示している。しかし、複雑なシーン生成は未解明のままであり、「複雑なシーン」の定義自体も明らかになっていない。本稿では,複雑なシーンの正確な定義と,この定義に基づく複合分解基準(CDC)の導入により,このギャップに対処する。アーティストの絵を描くプロセスに触発されて,コンプレックス拡散(CxD)と呼ばれる学習自由拡散フレームワークを提案し,その過程を3段階に分けて構成,絵画,リタッチを行う。提案手法は,大規模言語モデル(LLM)の強力なチェーン・オブ・シント機能を利用して,CDCに基づく複雑なプロンプトを分解し,構成とレイアウトを管理する。そこで我々は,複雑な風景画を完成させるために,簡単なプロンプトを特定の領域に誘導するアテンション変調法を開発した。最後に、LLMの詳細な出力をリタッチモデルに注入し、画像の詳細を強化することにより、リタッチステージを実装する。大規模な実験により,本手法は従来のSOTA手法よりも優れており,複雑なシーンにおいて複雑なプロンプトを伴っても,高品質でセマンティックに整合性があり,視覚的に多彩な画像の生成が著しく向上していることが示された。

関連論文リスト

Progressive Compositionality In Text-to-Image Generative Models [33.18510121342558]
拡散モデルのコントラスト学習のための新しいカリキュラムであるEvoGenを提案する。本研究では,大規模言語モデル(LLM)を活用し,現実的で複雑なシナリオを構成する。また、VQA(Visual-Question Answering)システムと拡散モデルを用いて、コントラストデータセット(ConPair)を自動的にキュレートする。
論文参考訳（メタデータ） (2024-10-22T05:59:29Z)
Coherent and Multi-modality Image Inpainting via Latent Space Optimization [61.99406669027195]
PILOT(intextbfPainting vtextbfIa textbfOptextbfTimization)は、新しいテキストセマンティック中央化とテキストセマンティック保存損失に基づく最適化手法である。本手法は,背景とのコヒーレンスを維持しつつ,ユーザが提供するプロンプトに対して高い忠実度を示す塗装領域を生成できる潜時空間を探索する。
論文参考訳（メタデータ） (2024-07-10T19:58:04Z)
TIE: Revolutionizing Text-based Image Editing for Complex-Prompt Following and High-Fidelity Editing [23.51498634405422]
マルチモーダルな大言語モデルの頑健な推論とローカライズ機能を活用した,革新的な画像編集フレームワークを提案する。提案モデルでは,複雑なプロンプトを理解し,対応する画像を生成する能力が向上し,生成前後の画像の忠実度と一貫性が向上した。
論文参考訳（メタデータ） (2024-05-27T03:50:37Z)
MULAN: A Multi Layer Annotated Dataset for Controllable Text-to-Image Generation [54.64194935409982]
44K MUlti-Layer-wise RGBA 分解からなる新しいデータセット MuLAn を紹介する。 MuLAnは、高品質な画像のインスタンス分解と空間情報を提供する最初のフォトリアリスティックなリソースである。我々は,新しい生成・編集技術,特にレイヤワイドソリューションの開発を促進することを目的としている。
論文参考訳（メタデータ） (2024-04-03T14:58:00Z)
BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion [61.90969199199739]
BrushNetは、ピクセルレベルのマスク付きイメージ機能を事前訓練されたDMに埋め込むために設計された、新しいプラグアンドプレイデュアルブランチモデルである。 BrushNetは、画像品質、マスク領域保存、テキストコヒーレンスを含む7つの主要な指標で、既存のモデルよりも優れたパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-03-11T17:59:31Z)
Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [65.7968515029306]
PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
論文参考訳（メタデータ） (2024-02-28T06:07:07Z)
CoSeR: Bridging Image and Language for Cognitive Super-Resolution [74.24752388179992]
本稿では,低解像度画像の理解能力を備えたSRモデルを実現するCoSeR(Cognitive Super-Resolution)フレームワークを提案する。画像の外観と言語理解を組み合わせることで、認知的な埋め込みを生成する。画像の忠実度をさらに向上させるため、「オール・イン・アテンション」と呼ばれる新しい条件注入方式を提案する。
論文参考訳（メタデータ） (2023-11-27T16:33:29Z)
Composite Diffusion | whole >= \Sigma parts [0.0]
本稿では,サブシーンからの合成により,アーティストが高品質な画像を生成する手段として,複合拡散を導入する。サブシーンの生成, 構成, 調和の代替手段を可能にする, 複合拡散の包括的かつモジュラーな方法を提案する。
論文参考訳（メタデータ） (2023-07-25T17:58:43Z)
The Stable Artist: Steering Semantics in Diffusion Latent Space [17.119616029527744]
本稿では,画像生成プロセスのきめ細かい制御を可能にする画像編集手法であるStable Artistを提案する。主要なコンポーネントはセマンティックガイダンス(SEGA)であり、セマンティックな方向の変数数に沿って拡散過程を制御している。 SEGAは、モデルによって学習された概念の表現に関する洞察を得るために、潜在空間の探索を可能にする。
論文参考訳（メタデータ） (2022-12-12T16:21:24Z)
Deep Image Compositing [93.75358242750752]
ユーザ入力なしで高品質の画像合成を自動生成する手法を提案する。ラプラシアン・ピラミッド・ブレンディングにインスパイアされ、フォアグラウンドや背景画像からの情報を効果的に融合させるために、密結合型多ストリーム融合ネットワークが提案されている。実験により,提案手法は高品質な合成物を自動生成し,定性的かつ定量的に既存手法より優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2020-11-04T06:12:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。