論文の概要: Ctrl-X: Controlling Structure and Appearance for Text-To-Image Generation Without Guidance

• arxiv url: http://arxiv.org/abs/2406.07540v2
• Date: Wed, 11 Dec 2024 06:53:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 13:59:44.059598
• Title: Ctrl-X: Controlling Structure and Appearance for Text-To-Image Generation Without Guidance
• Title（参考訳）: Ctrl-X:ガイダンスのないテキスト対画像生成のための構造と外観制御
• Authors: Kuan Heng Lin, Sicheng Mo, Ben Klingher, Fangzhou Mu, Bolei Zhou,
• Abstract要約: 最近の制御可能な生成手法は、補助モジュールを訓練することなく、テキスト・ツー・イメージ(T2I)拡散モデルにきめ細かい空間的および外観的制御をもたらす。 この研究は、追加のトレーニングやガイダンスなしでT2I拡散制御構造と外観の単純なフレームワークであるCtrl-Xを提示する。
• 参考スコア（独自算出の注目度）: 36.50036055679903
• License:
• Abstract: Recent controllable generation approaches such as FreeControl and Diffusion Self-Guidance bring fine-grained spatial and appearance control to text-to-image (T2I) diffusion models without training auxiliary modules. However, these methods optimize the latent embedding for each type of score function with longer diffusion steps, making the generation process time-consuming and limiting their flexibility and use. This work presents Ctrl-X, a simple framework for T2I diffusion controlling structure and appearance without additional training or guidance. Ctrl-X designs feed-forward structure control to enable the structure alignment with a structure image and semantic-aware appearance transfer to facilitate the appearance transfer from a user-input image. Extensive qualitative and quantitative experiments illustrate the superior performance of Ctrl-X on various condition inputs and model checkpoints. In particular, Ctrl-X supports novel structure and appearance control with arbitrary condition images of any modality, exhibits superior image quality and appearance transfer compared to existing works, and provides instant plug-and-play functionality to any T2I and text-to-video (T2V) diffusion model. See our project page for an overview of the results: https://genforce.github.io/ctrl-x
• Abstract（参考訳）: FreeControlやDiffusion Self-Guidanceのような最近の制御可能な生成手法は、補助モジュールを訓練せずにテキスト・ツー・イメージ(T2I)拡散モデルにきめ細かな空間的および外観的制御をもたらす。 しかし、これらの手法は、より長い拡散ステップで各スコア関数の潜伏埋め込みを最適化し、生成プロセスに時間をかけ、柔軟性と使用を制限させる。 この研究は、追加のトレーニングやガイダンスなしでT2I拡散制御構造と外観の単純なフレームワークであるCtrl-Xを提示する。 Ctrl-Xは、フィードフォワード構造制御を設計し、構造画像とセマンティックアウェアな外観伝達とをアライメントし、ユーザ入力画像からの外観伝達を容易にする。 Ctrl-Xの様々な条件入力とモデルチェックポイントにおける優れた性能を示す。 特に、Ctrl-Xは、任意のモダリティの任意の条件画像による新しい構造と外観制御をサポートし、既存の作品よりも優れた画質と外観伝達を示し、任意のT2Iおよびテキスト・トゥ・ビデオ(T2V)拡散モデルに即時プラグ・アンド・プレイ機能を提供する。 結果の概要については、プロジェクトページを参照してください。

関連論文リスト

• Boundary Attention Constrained Zero-Shot Layout-To-Image Generation [47.435234391588494]
  近年のテキスト・画像拡散モデルでは,テキストからの高解像度画像の生成に優れるが,空間構成や物体数に対する精密な制御に苦慮している。 本稿では,新たなゼロショットL2IアプローチであるBACONを提案する。 自己アテンション特徴写像の画素間相関を利用して、交差アテンション写像を整列し、境界注意で制約された3つの損失関数を組み合わせ、潜時特徴を更新する。
  論文  参考訳（メタデータ） (2024-11-15T05:44:45Z)
• FBSDiff: Plug-and-Play Frequency Band Substitution of Diffusion Features for Highly Controllable Text-Driven Image Translation [19.65838242227773]
  本稿では,大規模テキスト・ツー・イメージ(T2I)拡散モデルとイメージ・ツー・イメージ(I2I)パラダイムをプラグ・アンド・プレイ方式で適用する,新しい,簡潔かつ効率的なアプローチを提案する。 本手法は,周波数帯域のタイプや帯域幅を調整するだけで,参照画像の導出係数と導出強度の両方を柔軟に制御できる。
  論文  参考訳（メタデータ） (2024-08-02T04:13:38Z)
• FlexEControl: Flexible and Efficient Multimodal Control for Text-to-Image Generation [99.4649330193233]
  制御可能なテキスト画像拡散モデル(T2I)は、テキストプロンプトとエッジマップのような他のモダリティのセマンティック入力の両方に条件付き画像を生成する。 制御可能なT2I生成のためのフレキシブルで効率的なFlexEControlを提案する。
  論文  参考訳（メタデータ） (2024-05-08T06:09:11Z)
• Object-Attribute Binding in Text-to-Image Generation: Evaluation and Control [58.37323932401379]
  現在の拡散モデルは、入力としてテキストプロンプトが与えられたイメージを生成するが、テキストで言及されている属性を画像の正しいオブジェクトに正しく結び付けるのに苦労する。 入力文中の構文的制約により視覚的注意マップを制御できる集中的横断注意(FCA)を提案する。 我々は、T2I生成の大幅な改善、特にいくつかのデータセットに対する属性オブジェクトのバインディングを示す。
  論文  参考訳（メタデータ） (2024-04-21T20:26:46Z)
• FreeControl: Training-Free Spatial Control of Any Text-to-Image Diffusion Model with Any Condition [41.92032568474062]
  FreeControlは、制御可能なT2I生成のためのトレーニング不要のアプローチである。 複数の条件、アーキテクチャ、チェックポイントを同時にサポートする。 トレーニングベースのアプローチで、競争力のある合成品質を実現する。
  論文  参考訳（メタデータ） (2023-12-12T18:59:14Z)
• SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models [84.71887272654865]
  SparseCtrlは時間的にスパース信号で柔軟な構造制御を可能にする。 トレーニング済みのT2Vモデルに触ることなく、これらのスパース信号を処理するための追加条件が組み込まれている。 提案手法はスケッチ,深度マップ,RGB画像など,さまざまなモダリティと互換性がある。
  論文  参考訳（メタデータ） (2023-11-28T16:33:08Z)
• Uni-ControlNet: All-in-One Control to Text-to-Image Diffusion Models [82.19740045010435]
  ローカルコントロールとグローバルコントロールの同時利用を可能にする統合フレームワークであるUni-ControlNetを紹介した。 既存の方法とは異なり、Uni-ControlNetは、凍結した事前訓練されたテキスト-画像拡散モデル上に2つのアダプタを微調整するだけでよい。 Uni-ControlNetは、制御性、生成品質、構成性の観点から、既存のメソッドよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:59:58Z)
• UniControl: A Unified Diffusion Model for Controllable Visual Generation In the Wild [166.25327094261038]
  制御可能なコンディション・トゥ・イメージ(C2I)タスクのための新しい生成基盤モデルUniControlを紹介する。 UniControlは、任意の言語プロンプトを許容しながら、特定のフレームワーク内で幅広いC2Iタスクを統合する。 9つのユニークなC2Iタスクで訓練されたUniControlは、印象的なゼロショット生成能力を誇示している。
  論文  参考訳（メタデータ） (2023-05-18T17:41:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。