論文の概要: ControlNet++: Improving Conditional Controls with Efficient Consistency Feedback

• arxiv url: http://arxiv.org/abs/2404.07987v4
• Date: Tue, 19 Nov 2024 03:23:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:34:45.163654
• Title: ControlNet++: Improving Conditional Controls with Efficient Consistency Feedback
• Title（参考訳）: ControlNet++: 効率的な一貫性フィードバックによる条件制御の改善
• Authors: Ming Li, Taojiannan Yang, Huafeng Kuang, Jie Wu, Zhaoning Wang, Xuefeng Xiao, Chen Chen,
• Abstract要約: ControlNet++は、生成した画像と条件付き制御の間のピクセルレベルのサイクル一貫性を明示的に最適化することで、制御可能な生成を改善する新しいアプローチである。 ControlNetの11.1%のmIoU、13.4%のSSIM、7.6%のRMSE、それぞれセグメンテーションマスク、ラインアートエッジ、深さ条件の改善を実現している。
• 参考スコア（独自算出の注目度）: 20.910939141948123
• License:
• Abstract: To enhance the controllability of text-to-image diffusion models, existing efforts like ControlNet incorporated image-based conditional controls. In this paper, we reveal that existing methods still face significant challenges in generating images that align with the image conditional controls. To this end, we propose ControlNet++, a novel approach that improves controllable generation by explicitly optimizing pixel-level cycle consistency between generated images and conditional controls. Specifically, for an input conditional control, we use a pre-trained discriminative reward model to extract the corresponding condition of the generated images, and then optimize the consistency loss between the input conditional control and extracted condition. A straightforward implementation would be generating images from random noises and then calculating the consistency loss, but such an approach requires storing gradients for multiple sampling timesteps, leading to considerable time and memory costs. To address this, we introduce an efficient reward strategy that deliberately disturbs the input images by adding noise, and then uses the single-step denoised images for reward fine-tuning. This avoids the extensive costs associated with image sampling, allowing for more efficient reward fine-tuning. Extensive experiments show that ControlNet++ significantly improves controllability under various conditional controls. For example, it achieves improvements over ControlNet by 11.1% mIoU, 13.4% SSIM, and 7.6% RMSE, respectively, for segmentation mask, line-art edge, and depth conditions. All the code, models, demo and organized data have been open sourced on our Github Repo.
• Abstract（参考訳）: テキストから画像への拡散モデルの制御性を高めるため、ControlNetのような既存の作業には画像ベースの条件制御が組み込まれている。 本稿では,画像条件制御と整合した画像を生成する上で,既存の手法が依然として重大な課題に直面していることを明らかにする。 そこで本研究では,生成した画像と条件付き制御との間の画素レベルのサイクル一貫性を明示的に最適化することにより,制御可能な生成を改善する新しい手法であるControlNet++を提案する。 具体的には、入力条件制御のために、事前学習した識別的報酬モデルを用いて、生成された画像の対応する条件を抽出し、入力条件制御と抽出条件との整合損失を最適化する。 単純な実装では、ランダムノイズから画像を生成し、一貫性損失を計算するが、このアプローチでは複数のサンプリングタイムステップに勾配を格納する必要があるため、かなりの時間とメモリコストがかかる。 そこで本稿では,ノイズを付加して入力画像を意図的に妨害する効率的な報奨戦略を導入し,さらに1ステップの復号化画像を用いて報酬の微調整を行う。 これにより、画像サンプリングに伴う広範なコストが回避され、より効率的な報酬の微調整が可能になる。 大規模な実験により、ControlNet++は様々な条件付きコントロール下でコントロール可能性を大幅に改善することが示された。 例えば、11.1%のmIoU、13.4%のSSIM、7.6%のRMSE、それぞれセグメンテーションマスク、ラインアートエッジ、深さ条件の改善を実現している。 コード、モデル、デモ、組織化されたデータは、Github Repoでオープンソース化されました。

関連論文リスト

• CtrLoRA: An Extensible and Efficient Framework for Controllable Image Generation [69.43106794519193]
  本稿では,複数のベース条件からイメージ・ツー・イメージ生成の共通知識を学習するために,ベース制御ネットを訓練するCtrLoRAフレームワークを提案する。 学習可能なパラメータをControlNetと比較して90%削減し,モデルの重み付けとデプロイのしきい値を大幅に下げる。
  論文  参考訳（メタデータ） (2024-10-12T07:04:32Z)
• ControlAR: Controllable Image Generation with Autoregressive Models [40.74890550081335]
  自動回帰画像生成モデルに空間制御を統合するための効率的なフレームワークであるControlARを導入する。 ControlARは条件付き復号法を利用して、制御と画像トークンの融合によって条件付けられた次の画像トークンを生成する。 その結果,コントロールARは従来の制御可能な拡散モデルを上回ることが示唆された。
  論文  参考訳（メタデータ） (2024-10-03T17:28:07Z)
• ControlVAR: Exploring Controllable Visual Autoregressive Modeling [48.66209303617063]
  拡散モデル(DM)の出現により、条件付き視覚発生は顕著に進展した。 高価な計算コスト、高い推論遅延、大規模言語モデル(LLM)との統合の難しさといった課題は、DMに代わる方法を模索する必要がある。 本稿では,フレキシブルかつ効率的な条件生成のための視覚自己回帰モデリングにおける画素レベル制御を探求する新しいフレームワークであるControlmoreを紹介する。
  論文  参考訳（メタデータ） (2024-06-14T06:35:33Z)
• OmniControlNet: Dual-stage Integration for Conditional Image Generation [61.1432268643639]
  我々は、外部条件生成アルゴリズムを1つの高密度予測法に統合することにより、広く採用されているコントロールネットの双方向統合を提供する。 提案したOmniControlNetは,1)タスク埋め込み指導下での1つのマルチタスク高密度予測アルゴリズムによる条件生成と,2)テキスト埋め込み指導下での異なる条件付き画像生成プロセスを統合した。
  論文  参考訳（メタデータ） (2024-06-09T18:03:47Z)
• ECNet: Effective Controllable Text-to-Image Diffusion Models [31.21525123716149]
  本稿では,条件付きテキスト・ツー・イメージモデルに対する2つの革新的なソリューションを提案する。 まず,テキスト入力を正確なアノテーション情報で符号化することで,条件の詳細性を高める空間ガイダンス(SGI)を提案する。 第二に、条件付き監督の制限を克服するため、拡散整合損失を導入する。 これにより、各ステップにおける潜時符号と入力信号との一貫性が促進され、出力の堅牢性と精度が向上する。
  論文  参考訳（メタデータ） (2024-03-27T10:09:38Z)
• Layout-to-Image Generation with Localized Descriptions using ControlNet with Cross-Attention Control [20.533597112330018]
  レイアウト・ツー・イメージタスクにおけるControlNetの限界を示し、ローカライズされた記述を使えるようにする。 制御性を改善しつつ画像品質を維持するために,新しいクロスアテンション操作法を開発した。
  論文  参考訳（メタデータ） (2024-02-20T22:15:13Z)
• CCM: Adding Conditional Controls to Text-to-Image Consistency Models [89.75377958996305]
  本稿では,Consistency Models に ControlNet のような条件制御を追加するための代替戦略を検討する。 軽量アダプタは、一貫性トレーニングを通じて、複数の条件下で共同で最適化することができる。 これらの3つの解は, エッジ, 奥行き, 人間のポーズ, 低解像度画像, マスキング画像など, 様々な条件制御にまたがる。
  論文  参考訳（メタデータ） (2023-12-12T04:16:03Z)
• ControlNet-XS: Rethinking the Control of Text-to-Image Diffusion Models as Feedback-Control Systems [19.02295657801464]
  本研究では,既存の制御ネットワーク(ControlNet)を用いて,制御ネットワークと生成プロセス間の通信を高周波かつ大帯域で変更する。 我々は,深度,キャニーエッジ,セマンティックセグメンテーションなどの画素レベルのガイダンスに対する最先端のアプローチよりも優れており,人間のポーズのゆるいキーポイントガイダンスと同等である。 すべてのコードと事前訓練されたモデルは公開されます。
  論文  参考訳（メタデータ） (2023-12-11T17:58:06Z)
• Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
  細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。 本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
  論文  参考訳（メタデータ） (2023-12-05T17:47:33Z)
• Cocktail: Mixing Multi-Modality Controls for Text-Conditional Image Generation [79.8881514424969]
  テキスト条件拡散モデルは多種多様な内容の高忠実度画像を生成することができる。 しかし、言語表現はしばしば、想定された目的像の曖昧な記述を示す。 様々なモダリティを1つの埋め込みに混ぜるパイプラインであるCocktailを提案する。
  論文  参考訳（メタデータ） (2023-06-01T17:55:32Z)
• Adding Conditional Control to Text-to-Image Diffusion Models [37.98427255384245]
  大規模で事前訓練されたテキスト-画像拡散モデルに空間条件制御を追加するニューラルネットワークアーキテクチャであるControlNetを提案する。 ControlNetはプロダクション対応の大規模な拡散モデルをロックし、数十億のイメージで事前訓練されたディープで堅牢なエンコーディング層を強力なバックボーンとして再利用して、さまざまな条件付きコントロールを学ぶ。
  論文  参考訳（メタデータ） (2023-02-10T23:12:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。