論文の概要: A Comprehensive Survey on Knowledge Distillation of Diffusion Models

• arxiv url: http://arxiv.org/abs/2304.04262v1
• Date: Sun, 9 Apr 2023 15:49:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 16:42:51.228145
• Title: A Comprehensive Survey on Knowledge Distillation of Diffusion Models
• Title（参考訳）: 拡散モデルの知識蒸留に関する包括的調査
• Authors: Weijian Luo
• Abstract要約: 拡散モデル(DM)はニューラルネットワークを用いてスコア関数を指定する。 本チュートリアルは, DMの蒸留法を応用したり, この分野の研究プロジェクトに乗り出したいと願う, 生成モデルの基本的知識を持つ個人を対象としている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Models (DMs), also referred to as score-based diffusion models, utilize neural networks to specify score functions. Unlike most other probabilistic models, DMs directly model the score functions, which makes them more flexible to parametrize and potentially highly expressive for probabilistic modeling. DMs can learn fine-grained knowledge, i.e., marginal score functions, of the underlying distribution. Therefore, a crucial research direction is to explore how to distill the knowledge of DMs and fully utilize their potential. Our objective is to provide a comprehensible overview of the modern approaches for distilling DMs, starting with an introduction to DMs and a discussion of the challenges involved in distilling them into neural vector fields. We also provide an overview of the existing works on distilling DMs into both stochastic and deterministic implicit generators. Finally, we review the accelerated diffusion sampling algorithms as a training-free method for distillation. Our tutorial is intended for individuals with a basic understanding of generative models who wish to apply DM's distillation or embark on a research project in this field.
• Abstract（参考訳）: Diffusion Models (DM) はスコアベース拡散モデルとも呼ばれ、ニューラルネットワークを用いてスコア関数を指定する。 他の確率的モデルとは異なり、DMはスコア関数を直接モデル化し、パラメータ化がより柔軟になり、確率的モデリングに高い表現力を持つ。 DMは、基礎となる分布の詳細な知識、すなわち限界スコア関数を学ぶことができる。 そのため、DMの知識を抽出し、その可能性を完全に活用する方法を検討することが重要な研究方向である。 本研究の目的は, DMの蒸留における最近のアプローチの概要を明らかにすることであり, まず, DMの紹介と, 神経ベクトル場への蒸留に関わる課題について議論することである。 また,dmsを確率的および決定論的暗黙的生成器に蒸留する既存の研究の概要を述べる。 最後に, 促進拡散サンプリングアルゴリズムを蒸留の無訓練法として検討する。 本チュートリアルは, DMの蒸留法を応用したり, この分野の研究プロジェクトに乗り出したいと願う, 生成モデルの基本的知識を持つ個人を対象としている。

関連論文リスト

• A Survey on Pre-Trained Diffusion Model Distillations [8.633764273043488]
  ジェネレーティブ・人工知能(GenAI)における拡散モデル(DM)の優位性 DMは通常、大量のデータセットでトレーニングされ、大容量のストレージを必要とする。 訓練済みDMの蒸留法は、より小型で効率的なモデルを開発するために広く採用されている。
  論文  参考訳（メタデータ） (2025-02-12T12:50:24Z)
• Diffusion Model from Scratch [0.0]
  拡散生成モデルは、現在最も人気のある生成モデルである。 本稿では,VAEからDDPMへの進化をトレースすることで,生成モデルの基本的理解を支援することを目的とする。
  論文  参考訳（メタデータ） (2024-12-14T13:05:05Z)
• Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax [73.03684002513218]
  我々はDeep InfoMax(DIM)を拡張し、学習した表現を選択された事前分布に自動マッチングできるようにする。 このような修正により、一様かつ通常に分散した表現を学習できることを示す。 その結果,下流作業における性能とDMの品質の中間的なトレードオフが示唆された。
  論文  参考訳（メタデータ） (2024-10-09T15:40:04Z)
• Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models [33.09663675904689]
  データセットプルーニングの観点から,効率的な拡散訓練について検討する。 GAN(Generative Adversarial Network)のような生成モデルに対するデータ効率トレーニングの原則に着想を得て、まず、GANで使用されるデータ選択スキームをDMトレーニングに拡張する。 生成性能をさらに向上するため,クラスワイド・リウェイト方式を採用する。
  論文  参考訳（メタデータ） (2024-09-27T20:21:19Z)
• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Diffusion Model as Representation Learner [86.09969334071478]
  Diffusion Probabilistic Models (DPMs) は、最近、様々な生成タスクにおいて顕著な結果を示した。 本稿では,DPMが獲得した知識を認識タスクに活用する新しい知識伝達手法を提案する。
  論文  参考訳（メタデータ） (2023-08-21T00:38:39Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• A Survey on Generative Diffusion Model [75.93774014861978]
  拡散モデルは、深層生成モデルの新たなクラスである。 時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。 本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
  論文  参考訳（メタデータ） (2022-09-06T16:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。