論文の概要: A Survey on Pre-Trained Diffusion Model Distillations

• arxiv url: http://arxiv.org/abs/2502.08364v1
• Date: Wed, 12 Feb 2025 12:50:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:47:41.597946
• Title: A Survey on Pre-Trained Diffusion Model Distillations
• Title（参考訳）: 予混合拡散モデル蒸留に関する調査研究
• Authors: Xuhui Fan, Zhangkai Wu, Hongyu Wu,
• Abstract要約: ジェネレーティブ・人工知能(GenAI)における拡散モデル(DM)の優位性 DMは通常、大量のデータセットでトレーニングされ、大容量のストレージを必要とする。 訓練済みDMの蒸留法は、より小型で効率的なモデルを開発するために広く採用されている。
• 参考スコア（独自算出の注目度）: 8.633764273043488
• License:
• Abstract: Diffusion Models~(DMs) have emerged as the dominant approach in Generative Artificial Intelligence (GenAI), owing to their remarkable performance in tasks such as text-to-image synthesis. However, practical DMs, such as stable diffusion, are typically trained on massive datasets and thus usually require large storage. At the same time, many steps may be required, i.e., recursively evaluating the trained neural network, to generate a high-quality image, which results in significant computational costs during sample generation. As a result, distillation methods on pre-trained DM have become widely adopted practices to develop smaller, more efficient models capable of rapid, few-step generation in low-resource environment. When these distillation methods are developed from different perspectives, there is an urgent need for a systematic survey, particularly from a methodological perspective. In this survey, we review distillation methods through three aspects: output loss distillation, trajectory distillation and adversarial distillation. We also discuss current challenges and outline future research directions in the conclusion.
• Abstract（参考訳）: 拡散モデル~(DM)は、テキスト・画像合成などのタスクにおける顕著な性能のため、ジェネレーティブ・人工知能(GenAI)において支配的なアプローチとして現れている。 しかし、安定拡散のような実用的なDMは、通常、大量のデータセットで訓練されるため、大容量の記憶を必要とする。 同時に、トレーニングされたニューラルネットワークを再帰的に評価し、高品質な画像を生成するためには、多くのステップが必要になる。 その結果, 訓練済みDMの蒸留法は, 低資源環境下での高速な数段階生成が可能な, より小型で効率的なモデルの開発に広く採用されている。 これらの蒸留法が様々な観点から開発される場合、特に方法論的な観点からは、体系的な調査が急務である。 本研究では, 出力損失蒸留, トラジェクトリー蒸留, 逆蒸留の3つの側面から, 蒸留法について検討した。 また、現在の課題についても論じ、今後の研究の方向性を概説する。

関連論文リスト

• Relational Diffusion Distillation for Efficient Image Generation [27.127061578093674]
  拡散モデルの高い遅延は、コンピューティングリソースの少ないエッジデバイスにおいて、その広範な応用を妨げる。 本研究では,拡散モデルの蒸留に適した新しい蒸留法である拡散蒸留(RDD)を提案する。 提案したRDDは, 最先端の蒸留蒸留法と比較すると1.47FID減少し, 256倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-10-10T07:40:51Z)
• Optimizing Resource Consumption in Diffusion Models through Hallucination Early Detection [87.22082662250999]
  拡散過程の開始時に不正確な世代を迅速に検出する新しいパラダイムであるHEaD(Hallucination Early Detection)を導入する。 HEaDは計算資源を節約し,生成過程を高速化して完全な画像を得ることを示す。 その結果,HEaDは2つのオブジェクトのシナリオで生成時間の最大12%を節約できることがわかった。
  論文  参考訳（メタデータ） (2024-09-16T18:00:00Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation [61.03530321578825]
  Score Identity Distillation (SiD) は、事前学習した拡散モデルの生成能力を1ステップ生成器に蒸留する革新的なデータフリー手法である。 SiDは、蒸留中のFr'echet開始距離(FID)を指数的に高速に減少させるだけでなく、元の教師拡散モデルのFID性能に近づいたり、超えたりする。
  論文  参考訳（メタデータ） (2024-04-05T12:30:19Z)
• One-Step Diffusion Distillation via Deep Equilibrium Models [64.11782639697883]
  本稿では,拡散モデルを初期雑音から得られた画像に直接蒸留する簡易かつ効果的な方法を提案する。 本手法は,拡散モデルからノイズ/イメージペアのみによる完全オフライントレーニングを可能にする。 GET は FID スコアの点で 5 倍の ViT と一致するので,DEC アーキテクチャがこの能力に不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-12T07:28:40Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• A Comprehensive Survey on Knowledge Distillation of Diffusion Models [0.0]
  拡散モデル(DM)はニューラルネットワークを用いてスコア関数を指定する。 本チュートリアルは, DMの蒸留法を応用したり, この分野の研究プロジェクトに乗り出したいと願う, 生成モデルの基本的知識を持つ個人を対象としている。
  論文  参考訳（メタデータ） (2023-04-09T15:49:28Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。