論文の概要: Condition-Aware Neural Network for Controlled Image Generation
- arxiv url: http://arxiv.org/abs/2404.01143v1
- Date: Mon, 1 Apr 2024 14:42:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 22:15:37.713596
- Title: Condition-Aware Neural Network for Controlled Image Generation
- Title（参考訳）: 制御画像生成のための条件対応ニューラルネットワーク
- Authors: Han Cai, Muyang Li, Zhuoyang Zhang, Qinsheng Zhang, Ming-Yu Liu, Song Han,
- Abstract要約: Condition-Aware Neural Network (CAN) は、画像生成モデルに制御を追加する新しい方法である。
CANは、拡散トランスモデルの大幅な改善を実現している。
- 参考スコア（独自算出の注目度）: 39.49336265585335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Condition-Aware Neural Network (CAN), a new method for adding control to image generative models. In parallel to prior conditional control methods, CAN controls the image generation process by dynamically manipulating the weight of the neural network. This is achieved by introducing a condition-aware weight generation module that generates conditional weight for convolution/linear layers based on the input condition. We test CAN on class-conditional image generation on ImageNet and text-to-image generation on COCO. CAN consistently delivers significant improvements for diffusion transformer models, including DiT and UViT. In particular, CAN combined with EfficientViT (CaT) achieves 2.78 FID on ImageNet 512x512, surpassing DiT-XL/2 while requiring 52x fewer MACs per sampling step.
- Abstract（参考訳）: 本稿では,画像生成モデルに制御を追加する新しい手法であるCondition-Aware Neural Network (CAN)を提案する。
従来の条件制御法と並行して、CANはニューラルネットワークの重みを動的に操作することで、画像生成プロセスを制御する。
これは、入力条件に基づいて畳み込み/直線層の条件重みを生成する条件対応重み生成モジュールを導入することで実現される。
我々は,イメージネット上でのクラス条件画像生成とCOCO上でのテキスト・ツー・イメージ生成でCANをテストする。
CANは、DiTやUViTなど、拡散トランスフォーマーモデルの大幅な改善を実現している。
特に、EfficientViT (CaT)と組み合わせたCANはImageNet 512x512で2.78 FIDを獲得し、サンプリングステップあたり52倍のMACを必要とする。
関連論文リスト
- CtrLoRA: An Extensible and Efficient Framework for Controllable Image Generation [69.43106794519193]
本稿では,複数のベース条件からイメージ・ツー・イメージ生成の共通知識を学習するために,ベース制御ネットを訓練するCtrLoRAフレームワークを提案する。
学習可能なパラメータをControlNetと比較して90%削減し,モデルの重み付けとデプロイのしきい値を大幅に下げる。
論文 参考訳（メタデータ） (2024-10-12T07:04:32Z) - MaskBit: Embedding-free Image Generation via Bit Tokens [54.827480008982185]
我々は,VQGANの実証的,体系的な検討を行い,近代化されたVQGANを導いた。
ビットトークンを直接操作する新しい埋め込み不要な生成ネットワークは、ImageNet 256x256ベンチマークで1.52の最先端FIDを達成し、わずか305Mパラメータのコンパクトなジェネレータモデルである。
論文 参考訳（メタデータ） (2024-09-24T16:12:12Z) - ControlVAR: Exploring Controllable Visual Autoregressive Modeling [48.66209303617063]
拡散モデル(DM)の出現により、条件付き視覚発生は顕著に進展した。
高価な計算コスト、高い推論遅延、大規模言語モデル(LLM)との統合の難しさといった課題は、DMに代わる方法を模索する必要がある。
本稿では,フレキシブルかつ効率的な条件生成のための視覚自己回帰モデリングにおける画素レベル制御を探求する新しいフレームワークであるControlmoreを紹介する。
論文 参考訳（メタデータ） (2024-06-14T06:35:33Z) - OmniControlNet: Dual-stage Integration for Conditional Image Generation [61.1432268643639]
我々は、外部条件生成アルゴリズムを1つの高密度予測法に統合することにより、広く採用されているコントロールネットの双方向統合を提供する。
提案したOmniControlNetは,1)タスク埋め込み指導下での1つのマルチタスク高密度予測アルゴリズムによる条件生成と,2)テキスト埋め込み指導下での異なる条件付き画像生成プロセスを統合した。
論文 参考訳（メタデータ） (2024-06-09T18:03:47Z) - Adding Conditional Control to Text-to-Image Diffusion Models [37.98427255384245]
大規模で事前訓練されたテキスト-画像拡散モデルに空間条件制御を追加するニューラルネットワークアーキテクチャであるControlNetを提案する。
ControlNetはプロダクション対応の大規模な拡散モデルをロックし、数十億のイメージで事前訓練されたディープで堅牢なエンコーディング層を強力なバックボーンとして再利用して、さまざまな条件付きコントロールを学ぶ。
論文 参考訳（メタデータ） (2023-02-10T23:12:37Z) - Locally Masked Convolution for Autoregressive Models [107.4635841204146]
LMConvは標準的な2Dコンボリューションの簡単な修正であり、任意のマスクを画像の各位置の重みに適用することができる。
我々は,パラメータを共有するが生成順序が異なる分布推定器のアンサンブルを学習し,全画像密度推定の性能を向上させる。
論文 参考訳（メタデータ） (2020-06-22T17:59:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。