論文の概要: DC-ControlNet: Decoupling Inter- and Intra-Element Conditions in Image Generation with Diffusion Models

• arxiv url: http://arxiv.org/abs/2502.14779v1
• Date: Thu, 20 Feb 2025 18:01:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:27:16.583652
• Title: DC-ControlNet: Decoupling Inter- and Intra-Element Conditions in Image Generation with Diffusion Models
• Title（参考訳）: DC-ControlNet:拡散モデルを用いた画像生成における要素間条件と要素間条件の分離
• Authors: Hongji Yang, Wencheng Han, Yucheng Zhou, Jianbing Shen,
• Abstract要約: マルチ条件画像生成のためのフレームワークであるDC(Decouple)-ControlNetを紹介する。 DC-ControlNetの背景にある基本的な考え方は、制御条件を分離し、グローバルな制御を階層的なシステムに変換することである。 要素間の相互作用について、多要素間相互作用を正確に処理するInter-Element Controllerを導入する。
• 参考スコア（独自算出の注目度）: 55.42794740244581
• License:
• Abstract: In this paper, we introduce DC (Decouple)-ControlNet, a highly flexible and precisely controllable framework for multi-condition image generation. The core idea behind DC-ControlNet is to decouple control conditions, transforming global control into a hierarchical system that integrates distinct elements, contents, and layouts. This enables users to mix these individual conditions with greater flexibility, leading to more efficient and accurate image generation control. Previous ControlNet-based models rely solely on global conditions, which affect the entire image and lack the ability of element- or region-specific control. This limitation reduces flexibility and can cause condition misunderstandings in multi-conditional image generation. To address these challenges, we propose both intra-element and Inter-element Controllers in DC-ControlNet. The Intra-Element Controller handles different types of control signals within individual elements, accurately describing the content and layout characteristics of the object. For interactions between elements, we introduce the Inter-Element Controller, which accurately handles multi-element interactions and occlusion based on user-defined relationships. Extensive evaluations show that DC-ControlNet significantly outperforms existing ControlNet models and Layout-to-Image generative models in terms of control flexibility and precision in multi-condition control.
• Abstract（参考訳）: 本稿では,多条件画像生成のための高度に柔軟かつ正確に制御可能なフレームワークであるDC(Decouple)-ControlNetを紹介する。 DC-ControlNetの背景にある基本的な考え方は、制御条件を分離し、グローバルコントロールを異なる要素、内容、レイアウトを統合する階層システムに変換することである。 これにより、ユーザーはこれらの個々の条件をより柔軟に混ぜることで、より効率的で正確な画像生成制御が可能になる。 以前のControlNetベースのモデルは、イメージ全体に影響を与えるグローバルな条件のみに依存しており、要素や領域固有の制御能力が欠如している。 この制限は柔軟性を低下させ、マルチ条件画像生成における条件誤解を引き起こす可能性がある。 これらの課題に対処するため、DC-ControlNetにおける要素内制御と要素間制御の両方を提案する。 要素内コントローラは個々の要素内で異なる種類の制御信号を処理し、オブジェクトの内容とレイアウト特性を正確に記述する。 要素間の相互作用について,ユーザ定義の関係に基づいて,複数要素間の相互作用とオクルージョンを正確に処理するInter-Element Controllerを導入する。 広範評価の結果,DC-ControlNetは制御の柔軟性やマルチコンディション制御の精度の観点から,既存のControlNetモデルやLayout-to-Image生成モデルよりも大幅に優れていた。

関連論文リスト

• DynamicControl: Adaptive Condition Selection for Improved Text-to-Image Generation [63.63429658282696]
  多様な制御信号の動的組み合わせをサポートするDynamicControlを提案する。 様々な条件下での制御性,生成品質,構成性の観点から,DynamicControlは既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-04T11:54:57Z)
• AnyControl: Create Your Artwork with Versatile Control on Text-to-Image Generation [24.07613591217345]
  言語制御は効果的なコンテンツ生成を可能にするが、画像生成のきめ細かい制御に苦慮する。 AnyControlは、生成プロセスのガイドとして、統一されたマルチモーダル埋め込みを抽出する、新しいマルチControlフレームワークを開発している。 このアプローチは、ユーザ入力の全体的理解を可能にし、汎用的な制御信号の下で高品質で忠実な結果を生成する。
  論文  参考訳（メタデータ） (2024-06-27T07:40:59Z)
• FlexEControl: Flexible and Efficient Multimodal Control for Text-to-Image Generation [99.4649330193233]
  制御可能なテキスト画像拡散モデル(T2I)は、テキストプロンプトとエッジマップのような他のモダリティのセマンティック入力の両方に条件付き画像を生成する。 制御可能なT2I生成のためのフレキシブルで効率的なFlexEControlを提案する。
  論文  参考訳（メタデータ） (2024-05-08T06:09:11Z)
• Ctrl-Adapter: An Efficient and Versatile Framework for Adapting Diverse Controls to Any Diffusion Model [62.51232333352754]
  Ctrl-Adapterは、事前訓練されたコントロールネットの適応を通じて、任意の画像/ビデオ拡散モデルに多様なコントロールを追加する。 6つの多様なU-Net/DiTベースの画像/ビデオ拡散モデルにより、Ctrl-AdapterはCOCO上の事前訓練されたコントロールネットのパフォーマンスと一致する。
  論文  参考訳（メタデータ） (2024-04-15T17:45:36Z)
• Uni-ControlNet: All-in-One Control to Text-to-Image Diffusion Models [82.19740045010435]
  ローカルコントロールとグローバルコントロールの同時利用を可能にする統合フレームワークであるUni-ControlNetを紹介した。 既存の方法とは異なり、Uni-ControlNetは、凍結した事前訓練されたテキスト-画像拡散モデル上に2つのアダプタを微調整するだけでよい。 Uni-ControlNetは、制御性、生成品質、構成性の観点から、既存のメソッドよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:59:58Z)
• UniControl: A Unified Diffusion Model for Controllable Visual Generation In the Wild [166.25327094261038]
  制御可能なコンディション・トゥ・イメージ(C2I)タスクのための新しい生成基盤モデルUniControlを紹介する。 UniControlは、任意の言語プロンプトを許容しながら、特定のフレームワーク内で幅広いC2Iタスクを統合する。 9つのユニークなC2Iタスクで訓練されたUniControlは、印象的なゼロショット生成能力を誇示している。
  論文  参考訳（メタデータ） (2023-05-18T17:41:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。