論文の概要: A Comprehensive Survey on Knowledge Distillation of Diffusion Models

• arxiv url: http://arxiv.org/abs/2304.04262v1
• Date: Sun, 9 Apr 2023 15:49:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 16:42:51.228145
• Title: A Comprehensive Survey on Knowledge Distillation of Diffusion Models
• Title（参考訳）: 拡散モデルの知識蒸留に関する包括的調査
• Authors: Weijian Luo
• Abstract要約: 拡散モデル(DM)はニューラルネットワークを用いてスコア関数を指定する。 本チュートリアルは, DMの蒸留法を応用したり, この分野の研究プロジェクトに乗り出したいと願う, 生成モデルの基本的知識を持つ個人を対象としている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Models (DMs), also referred to as score-based diffusion models, utilize neural networks to specify score functions. Unlike most other probabilistic models, DMs directly model the score functions, which makes them more flexible to parametrize and potentially highly expressive for probabilistic modeling. DMs can learn fine-grained knowledge, i.e., marginal score functions, of the underlying distribution. Therefore, a crucial research direction is to explore how to distill the knowledge of DMs and fully utilize their potential. Our objective is to provide a comprehensible overview of the modern approaches for distilling DMs, starting with an introduction to DMs and a discussion of the challenges involved in distilling them into neural vector fields. We also provide an overview of the existing works on distilling DMs into both stochastic and deterministic implicit generators. Finally, we review the accelerated diffusion sampling algorithms as a training-free method for distillation. Our tutorial is intended for individuals with a basic understanding of generative models who wish to apply DM's distillation or embark on a research project in this field.
• Abstract（参考訳）: Diffusion Models (DM) はスコアベース拡散モデルとも呼ばれ、ニューラルネットワークを用いてスコア関数を指定する。 他の確率的モデルとは異なり、DMはスコア関数を直接モデル化し、パラメータ化がより柔軟になり、確率的モデリングに高い表現力を持つ。 DMは、基礎となる分布の詳細な知識、すなわち限界スコア関数を学ぶことができる。 そのため、DMの知識を抽出し、その可能性を完全に活用する方法を検討することが重要な研究方向である。 本研究の目的は, DMの蒸留における最近のアプローチの概要を明らかにすることであり, まず, DMの紹介と, 神経ベクトル場への蒸留に関わる課題について議論することである。 また,dmsを確率的および決定論的暗黙的生成器に蒸留する既存の研究の概要を述べる。 最後に, 促進拡散サンプリングアルゴリズムを蒸留の無訓練法として検討する。 本チュートリアルは, DMの蒸留法を応用したり, この分野の研究プロジェクトに乗り出したいと願う, 生成モデルの基本的知識を持つ個人を対象としている。

関連論文リスト

• Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax [73.03684002513218]
  我々はDeep InfoMax(DIM)を拡張し、学習した表現を選択された事前分布に自動マッチングできるようにする。 このような修正により、一様かつ通常に分散した表現を学習できることを示す。 その結果,下流作業における性能とDMの品質の中間的なトレードオフが示唆された。
  論文  参考訳（メタデータ） (2024-10-09T15:40:04Z)
• Towards a Theoretical Understanding of Memorization in Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(GenAI)の主流モデルとして採用されている。 モデル収束を前提とした条件付きおよび非条件付きDPMにおける記憶の理論的理解を提供する。 本研究では、生成されたデータに基づいて訓練された時間依存型分類器を代理条件として利用し、無条件DPMからトレーニングデータを抽出する、textbfSurrogate condItional Data extract (SIDE) という新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T13:17:06Z)
• Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models [33.09663675904689]
  データセットプルーニングの観点から,効率的な拡散訓練について検討する。 GAN(Generative Adversarial Network)のような生成モデルに対するデータ効率トレーニングの原則に着想を得て、まず、GANで使用されるデータ選択スキームをDMトレーニングに拡張する。 生成性能をさらに向上するため,クラスワイド・リウェイト方式を採用する。
  論文  参考訳（メタデータ） (2024-09-27T20:21:19Z)
• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• Variational Distillation of Diffusion Policies into Mixture of Experts [26.315682445979302]
  本研究は, 拡散反応をエキスパート混合体 (MoE) に蒸留する新しい方法である変動拡散蒸留 (VDD) を導入する。 拡散モデル(英: Diffusion Models)は、複雑なマルチモーダル分布を正確に学習し、表現する能力があるため、生成モデリングにおける現在の最先端技術である。 VDDは、事前学習した拡散モデルをMoEモデルに蒸留し、拡散モデルの表現性を混合モデルの利点と組み合わせる最初の方法である。
  論文  参考訳（メタデータ） (2024-06-18T12:15:05Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Balancing Act: Distribution-Guided Debiasing in Diffusion Models [31.38505986239798]
  拡散モデル(DM)は、前例のない画像生成能力を持つ強力な生成モデルとして登場した。 DMはトレーニングデータセットに存在するバイアスを反映します。 本稿では、追加データやモデル再学習に頼ることなく、DMをデバイアスする手法を提案する。
  論文  参考訳（メタデータ） (2024-02-28T09:53:17Z)
• Diffusion Model as Representation Learner [86.09969334071478]
  Diffusion Probabilistic Models (DPMs) は、最近、様々な生成タスクにおいて顕著な結果を示した。 本稿では,DPMが獲得した知識を認識タスクに活用する新しい知識伝達手法を提案する。
  論文  参考訳（メタデータ） (2023-08-21T00:38:39Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。