論文の概要: Conditional Diffusion Distillation

• arxiv url: http://arxiv.org/abs/2310.01407v1
• Date: Mon, 2 Oct 2023 17:59:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 20:08:05.951444
• Title: Conditional Diffusion Distillation
• Title（参考訳）: 条件拡散蒸留
• Authors: Kangfu Mei and Mauricio Delbracio and Hossein Talebi and Zhengzhong Tu and Vishal M. Patel and Peyman Milanfar
• Abstract要約: 画像条件の助けを借りて拡散前処理を補完する新しい条件蒸留法を提案する。 本手法は, より遅い微調整条件拡散モデルの性能に適合する最初の蒸留法である。
• 参考スコア（独自算出の注目度）: 49.3016007471979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative diffusion models provide strong priors for text-to-image generation and thereby serve as a foundation for conditional generation tasks such as image editing, restoration, and super-resolution. However, one major limitation of diffusion models is their slow sampling time. To address this challenge, we present a novel conditional distillation method designed to supplement the diffusion priors with the help of image conditions, allowing for conditional sampling with very few steps. We directly distill the unconditional pre-training in a single stage through joint-learning, largely simplifying the previous two-stage procedures that involve both distillation and conditional finetuning separately. Furthermore, our method enables a new parameter-efficient distillation mechanism that distills each task with only a small number of additional parameters combined with the shared frozen unconditional backbone. Experiments across multiple tasks including super-resolution, image editing, and depth-to-image generation demonstrate that our method outperforms existing distillation techniques for the same sampling time. Notably, our method is the first distillation strategy that can match the performance of the much slower fine-tuned conditional diffusion models.
• Abstract（参考訳）: 生成拡散モデルは、テキストから画像への生成に強い優先順位を与え、画像編集、復元、超解像といった条件付き生成タスクの基盤となる。 しかし、拡散モデルの主な制限はサンプリング時間の遅いことである。 そこで本研究では, 拡散前処理を画像条件の助けを借りて補うように設計した条件蒸留法を提案する。 共同学習により,無条件予習を単段で直接蒸留し,蒸留と条件微調整の両方を別々に行う前段階の手順を単純化した。 さらに, 共有凍結非条件バックボーンと少量の添加パラメータのみを併用して各タスクを蒸留する, 新たなパラメータ効率の高い蒸留機構を実現する。 超解像、画像編集、深度画像生成を含む複数のタスクを対象とした実験により、本手法はサンプリング時間において既存の蒸留技術より優れていることを示した。 特に本手法は, 非常に遅い微調整条件拡散モデルの性能に適合する最初の蒸留法である。

関連論文リスト

• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• A Simple Approach to Unifying Diffusion-based Conditional Generation [63.389616350290595]
  多様な条件生成タスクを処理するための、シンプルで統一されたフレームワークを導入します。 提案手法は,異なる推論時間サンプリング方式による多目的化を実現する。 我々のモデルは、非親密なアライメントや粗い条件付けのような追加機能をサポートしています。
  論文  参考訳（メタデータ） (2024-10-15T09:41:43Z)
• Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.06970466554273]
  SDXLのような最先端拡散モデルに匹敵するレベルまで、非自己回帰マスク型画像モデリング(MIM)のテキスト・ツー・イメージが増大するMeissonicを提案する。 高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いて画像の忠実度と解像度をさらに向上する。 我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T17:59:17Z)
• DiffuseHigh: Training-free Progressive High-Resolution Image Synthesis through Structure Guidance [11.44012694656102]
  テキストから画像への拡散モデルのような大規模生成モデルは、様々な領域で広く注目を集めている。 既存の大規模拡散モデルでは、最大1K解像度の画像を生成できる。 本稿では,高分解能画像の生成を導くために,生成した低分解能画像を完全に活用する新しいプログレッシブアプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:10:31Z)
• DiffHarmony: Latent Diffusion Model Meets Image Harmonization [11.500358677234939]
  拡散モデルは画像から画像への翻訳タスクの迅速な開発を促進する。 スクラッチからの微調整事前学習潜伏拡散モデルは計算集約的である。 本稿では,事前学習した潜伏拡散モデルを画像調和タスクに適用し,調和性はあるが曖昧な初期画像を生成する。
  論文  参考訳（メタデータ） (2024-04-09T09:05:23Z)
• TCIG: Two-Stage Controlled Image Generation with Quality Enhancement through Diffusion [0.0]
  画像生成における制御性と高品質を両立させる2段階の手法を提案する。 制御性と高品質を分離することにより,優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-03-02T13:59:02Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Conditional Generation from Unconditional Diffusion Models using Denoiser Representations [94.04631421741986]
  本稿では,学習したデノイザネットワークの内部表現を用いて,事前学習した非条件拡散モデルを新しい条件に適用することを提案する。 提案手法により生成した合成画像を用いたTiny ImageNetトレーニングセットの強化により,ResNetベースラインの分類精度が最大8%向上することを示す。
  論文  参考訳（メタデータ） (2023-06-02T20:09:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。