論文の概要: ToddlerDiffusion: Flash Interpretable Controllable Diffusion Model
- arxiv url: http://arxiv.org/abs/2311.14542v1
- Date: Fri, 24 Nov 2023 15:20:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-27 14:48:29.702739
- Title: ToddlerDiffusion: Flash Interpretable Controllable Diffusion Model
- Title(参考訳): childdiffusion:フラッシュ解釈可能な制御可能な拡散モデル
- Authors: Eslam Mohamed Bakr, Liangbing Zhao, Vincent Tao Hu, Matthieu Cord,
Patrick Perez, Mohamed Elhoseiny
- Abstract要約: ToddlerDiffusionは、人間の生成システムにインスパイアされた解釈可能な2D拡散画像合成フレームワークである。
提案手法では,生成過程を簡易かつ解釈可能な段階に分解し,輪郭,パレット,詳細なカラー画像を生成する。
- 参考スコア(独自算出の注目度): 68.16230122583634
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Diffusion-based generative models excel in perceptually impressive synthesis
but face challenges in interpretability. This paper introduces
ToddlerDiffusion, an interpretable 2D diffusion image-synthesis framework
inspired by the human generation system. Unlike traditional diffusion models
with opaque denoising steps, our approach decomposes the generation process
into simpler, interpretable stages; generating contours, a palette, and a
detailed colored image. This not only enhances overall performance but also
enables robust editing and interaction capabilities. Each stage is meticulously
formulated for efficiency and accuracy, surpassing Stable-Diffusion (LDM).
Extensive experiments on datasets like LSUN-Churches and COCO validate our
approach, consistently outperforming existing methods. ToddlerDiffusion
achieves notable efficiency, matching LDM performance on LSUN-Churches while
operating three times faster with a 3.76 times smaller architecture. Our source
code is provided in the supplementary material and will be publicly accessible.
- Abstract(参考訳): 拡散に基づく生成モデルは知覚的に印象的な合成に優れるが、解釈可能性の課題に直面している。
本稿では,人間の生成システムに触発された解釈可能な2次元拡散画像合成フレームワークToddlerDiffusionを紹介する。
不透明なデノベーションステップを持つ従来の拡散モデルとは異なり、我々の手法は生成プロセスをよりシンプルで解釈可能なステージに分解し、輪郭、パレット、詳細なカラー画像を生成する。
これにより全体的なパフォーマンスが向上するだけでなく、堅牢な編集やインタラクションも可能になる。
各ステージは効率と精度を慎重に定式化し、安定拡散(LDM)を超える。
LSUN-ChurchesやCOCOといったデータセットに関する大規模な実験は、我々のアプローチを検証し、既存の手法を一貫して上回ります。
ToddlerDiffusionはLSUN-ChurchesのLDM性能を3倍高速化し、アーキテクチャは3.76倍の高速化を実現している。
私たちのソースコードは補足資料で提供されており、公開アクセス可能です。
関連論文リスト
- Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文 参考訳(メタデータ) (2024-02-15T18:59:18Z) - Towards Detailed Text-to-Motion Synthesis via Basic-to-Advanced
Hierarchical Diffusion Model [60.27825196999742]
本稿では,B2A-HDMと呼ばれる新しい階層型拡散モデルを提案する。
特に、低次元ラテント空間における基本拡散モデルは、テキスト記述と整合した中間偏微分結果を与える。
高次元ラテント空間における高度な拡散モデルは、以下の詳細エンハンス・デノナイジング過程に焦点をあてる。
論文 参考訳(メタデータ) (2023-12-18T06:30:39Z) - Taming Latent Diffusion Models to See in the Dark [65.6004750218506]
LDM-SIDは,提案するテーピングモジュールの集合を凍結した事前学習拡散モデルに挿入し,生成過程を制御することを目的としている。
入力されたRAW画像に2次元離散ウェーブレット変換を適用し、LLIEタスクを低周波コンテンツ生成と高周波ディテールメンテナンスという2つの重要な部分に分割する。
論文 参考訳(メタデータ) (2023-12-02T04:31:51Z) - Latent Consistency Models: Synthesizing High-Resolution Images with
Few-Step Inference [60.32804641276217]
本稿では,LCM(Latent Consistency Models)を提案する。
高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。
また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
論文 参考訳(メタデータ) (2023-10-06T17:11:58Z) - Decoupled Diffusion Models: Image to Zero and Zero to Noise [57.9447970931649]
本稿では, 複雑な拡散過程を2つの比較的単純なプロセスに分離し, 生成効率と速度を改善することを提案する。
拡散過程の疎結合は学習の難しさを低減し、明示的な遷移確率は生成速度を大幅に向上させる。
また,このフレームワークは画像条件付き生成や高解像度画像合成にも適用可能であること,また,10機能評価のみで高品質な画像を生成することができることを示す。
論文 参考訳(メタデータ) (2023-06-23T18:08:00Z) - Are Diffusion Models Vision-And-Language Reasoners? [30.579483430697803]
我々は、DiffusionITMと呼ばれる新しい手法を用いて、任意の画像テキストマッチング(ITM)タスクに対する拡散ベースモデルを変換する。
GDBench(Generative-Discriminative Evaluation Benchmark)ベンチマークを7つの複雑な視覚・言語タスク、バイアス評価、詳細な分析で導入する。
安定拡散+拡散ITMは多くのタスクで競争力があり、CLIPよりもCLEVRやWinogroundのようなコンポジションタスクで優れています。
論文 参考訳(メタデータ) (2023-05-25T18:02:22Z) - MagicFusion: Boosting Text-to-Image Generation Performance by Fusing
Diffusion Models [20.62953292593076]
本研究では,より制御可能な生成を実現するために,融合したテキスト誘導拡散モデルを実現するためのSNB (Saliency-aware Noise Blending) という,シンプルで効果的な手法を提案する。
SNBはトレーニングフリーであり、DDIMサンプリングプロセス内で完成することができる。さらに、マスクなどの追加アノテーションを必要とせずに、2つのノイズ空間のセマンティクスを自動的に調整することができる。
論文 参考訳(メタデータ) (2023-03-23T09:30:39Z) - SALAD: Part-Level Latent Diffusion for 3D Shape Generation and
Manipulation [10.478729083130366]
部分レベルの暗黙的3次元表現に基づくカスケード拡散モデルを提案する。
提案モデルでは,最先端の生成品質を実現し,条件付き設定での付加的なトレーニングを伴わずに,部分レベルの形状の編集と操作が可能となる。
論文 参考訳(メタデータ) (2023-03-21T23:43:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。