論文の概要: Adding Conditional Control to Text-to-Image Diffusion Models
- arxiv url: http://arxiv.org/abs/2302.05543v3
- Date: Sun, 26 Nov 2023 22:26:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 17:07:34.543135
- Title: Adding Conditional Control to Text-to-Image Diffusion Models
- Title(参考訳): テキスト・画像拡散モデルへの条件制御の追加
- Authors: Lvmin Zhang and Anyi Rao and Maneesh Agrawala
- Abstract要約: 大規模で事前訓練されたテキスト-画像拡散モデルに空間条件制御を追加するニューラルネットワークアーキテクチャであるControlNetを提案する。
ControlNetはプロダクション対応の大規模な拡散モデルをロックし、数十億のイメージで事前訓練されたディープで堅牢なエンコーディング層を強力なバックボーンとして再利用して、さまざまな条件付きコントロールを学ぶ。
- 参考スコア(独自算出の注目度): 37.98427255384245
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present ControlNet, a neural network architecture to add spatial
conditioning controls to large, pretrained text-to-image diffusion models.
ControlNet locks the production-ready large diffusion models, and reuses their
deep and robust encoding layers pretrained with billions of images as a strong
backbone to learn a diverse set of conditional controls. The neural
architecture is connected with "zero convolutions" (zero-initialized
convolution layers) that progressively grow the parameters from zero and ensure
that no harmful noise could affect the finetuning. We test various conditioning
controls, eg, edges, depth, segmentation, human pose, etc, with Stable
Diffusion, using single or multiple conditions, with or without prompts. We
show that the training of ControlNets is robust with small (<50k) and large
(>1m) datasets. Extensive results show that ControlNet may facilitate wider
applications to control image diffusion models.
- Abstract(参考訳): 大規模で事前訓練されたテキスト-画像拡散モデルに空間条件制御を追加するニューラルネットワークアーキテクチャであるControlNetを提案する。
controlnetはプロダクション対応の大規模拡散モデルをロックし、数十億のイメージでトレーニングされた深層で堅牢なエンコーディング層を強力なバックボーンとして再利用して、さまざまな条件付きコントロールのセットを学ぶ。
ニューラル・アーキテクチャは「ゼロ畳み込み」(ゼロ初期化畳み込み層)と接続され、パラメータを徐々にゼロから成長させ、有害なノイズが微調整に影響を与えないようにする。
条件付制御,例えばエッジ,エッジ,深さ,セグメンテーション,人間のポーズ等を,プロンプトの有無にかかわらず,単一または複数条件を用いて安定した拡散でテストする。
ControlNetsのトレーニングは、小さな (50k) と大きな (>1m) データセットで堅牢であることを示す。
画像拡散モデルを制御するため,コントロールネットは広い範囲の応用を促進する可能性がある。
関連論文リスト
- Ctrl-Adapter: An Efficient and Versatile Framework for Adapting Diverse Controls to Any Diffusion Model [62.51232333352754]
Ctrl-Adapterは、画像/ビデオ拡散モデルに多様な制御を追加する効率的なフレームワークである。
Ctrl-Adapterは、画像制御、ビデオ制御、スパースフレームによるビデオ制御、マルチ条件制御、ビデオ編集などの機能を提供する。
多様な画像/ビデオ拡散バックボーン(SDXL、Hotshot-XL、I2VGen-XL、SVD)により、Ctrl-Adapterはコントロールネットとマッチングし、ビデオ制御のすべてのベースラインを上回っている。
論文 参考訳(メタデータ) (2024-04-15T17:45:36Z) - ControlNet-XS: Designing an Efficient and Effective Architecture for
Controlling Text-to-Image Diffusion Models [21.379896810560282]
一般的なアプローチは、Stable Diffusionのようなトレーニング済みの画像生成モデルと組み合わせて、ControlNetのような制御ネットワークを使用することである。
本研究では,制御ネットXSと呼ばれる新しい制御アーキテクチャを提案する。
ControlNetとは対照的に、私たちのモデルはパラメータのごく一部しか必要とせず、推論やトレーニング時間の約2倍の速度です。
論文 参考訳(メタデータ) (2023-12-11T17:58:06Z) - Fine-grained Controllable Video Generation via Object Appearance and
Context [74.23066823064575]
細粒度制御可能なビデオ生成法(FACTOR)を提案する。
FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。
本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
論文 参考訳(メタデータ) (2023-12-05T17:47:33Z) - Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model [30.44339780026541]
Zero123++は、単一の入力ビューから3D一貫性のあるマルチビュー画像を生成するための画像条件拡散モデルである。
我々は,市販画像拡散モデルからの微調整の労力を最小限に抑えるために,様々な条件付けと訓練手法を開発した。
論文 参考訳(メタデータ) (2023-10-23T17:18:59Z) - Cocktail: Mixing Multi-Modality Controls for Text-Conditional Image
Generation [79.8881514424969]
テキスト条件拡散モデルは多種多様な内容の高忠実度画像を生成することができる。
しかし、言語表現はしばしば、想定された目的像の曖昧な記述を示す。
様々なモダリティを1つの埋め込みに混ぜるパイプラインであるCocktailを提案する。
論文 参考訳(メタデータ) (2023-06-01T17:55:32Z) - Uni-ControlNet: All-in-One Control to Text-to-Image Diffusion Models [82.19740045010435]
ローカルコントロールとグローバルコントロールの同時利用を可能にする統合フレームワークであるUni-ControlNetを紹介した。
既存の方法とは異なり、Uni-ControlNetは、凍結した事前訓練されたテキスト-画像拡散モデル上に2つのアダプタを微調整するだけでよい。
Uni-ControlNetは、制御性、生成品質、構成性の観点から、既存のメソッドよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-25T17:59:58Z) - UniControl: A Unified Diffusion Model for Controllable Visual Generation
In the Wild [166.25327094261038]
制御可能なコンディション・トゥ・イメージ(C2I)タスクのための新しい生成基盤モデルUniControlを紹介する。
UniControlは、任意の言語プロンプトを許容しながら、特定のフレームワーク内で幅広いC2Iタスクを統合する。
9つのユニークなC2Iタスクで訓練されたUniControlは、印象的なゼロショット生成能力を誇示している。
論文 参考訳(メタデータ) (2023-05-18T17:41:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。