論文の概要: Diff-Instruct: A Universal Approach for Transferring Knowledge From
Pre-trained Diffusion Models
- arxiv url: http://arxiv.org/abs/2305.18455v2
- Date: Mon, 15 Jan 2024 07:51:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 02:46:14.300778
- Title: Diff-Instruct: A Universal Approach for Transferring Knowledge From
Pre-trained Diffusion Models
- Title（参考訳）: Diff-Instruct: 事前学習した拡散モデルから知識を伝達するためのユニバーサルアプローチ
- Authors: Weijian Luo and Tianyang Hu and Shifeng Zhang and Jiacheng Sun and
Zhenguo Li and Zhihua Zhang
- Abstract要約: 本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。
Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。
GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
- 参考スコア（独自算出の注目度）: 77.83923746319498
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the ease of training, ability to scale, and high sample quality,
diffusion models (DMs) have become the preferred option for generative
modeling, with numerous pre-trained models available for a wide variety of
datasets. Containing intricate information about data distributions,
pre-trained DMs are valuable assets for downstream applications. In this work,
we consider learning from pre-trained DMs and transferring their knowledge to
other generative models in a data-free fashion. Specifically, we propose a
general framework called Diff-Instruct to instruct the training of arbitrary
generative models as long as the generated samples are differentiable with
respect to the model parameters. Our proposed Diff-Instruct is built on a
rigorous mathematical foundation where the instruction process directly
corresponds to minimizing a novel divergence we call Integral Kullback-Leibler
(IKL) divergence. IKL is tailored for DMs by calculating the integral of the KL
divergence along a diffusion process, which we show to be more robust in
comparing distributions with misaligned supports. We also reveal non-trivial
connections of our method to existing works such as DreamFusion, and generative
adversarial training. To demonstrate the effectiveness and universality of
Diff-Instruct, we consider two scenarios: distilling pre-trained diffusion
models and refining existing GAN models. The experiments on distilling
pre-trained diffusion models show that Diff-Instruct results in
state-of-the-art single-step diffusion-based models. The experiments on
refining GAN models show that the Diff-Instruct can consistently improve the
pre-trained generators of GAN models across various settings.
- Abstract（参考訳）: トレーニングの容易さ、スケール性、高いサンプル品質のため、拡散モデル(dms)は生成モデリングの選択肢として好まれており、多くの事前学習されたモデルがさまざまなデータセットで利用可能である。
データ分散に関する複雑な情報を含む、事前訓練されたDMは、下流アプリケーションにとって貴重な資産である。
本研究では,事前学習されたdmから学習し,その知識をデータ無しで他の生成モデルに転送することを検討する。
具体的には,生成したサンプルがモデルパラメータに対して微分可能であれば,任意の生成モデルのトレーニングを指示するdiff-instructと呼ばれる汎用フレームワークを提案する。
提案するdiff-instructは厳密な数学的基礎に基づいており、命令過程は積分kullback-leibler(ikl)発散と呼ばれる新しい発散の最小化に直接対応している。
iklは拡散過程に沿ってklの発散の積分を計算することでdms用に調整されており、分布を不整合な支持体と比較する上でより堅牢であることを示している。
また,dreamfusion やgenerative adversarial training などの既存作品との非自明な接続も明らかにする。
Diff-Instructの有効性と普遍性を示すために、事前学習した拡散モデルの蒸留と既存のGANモデルの精製の2つのシナリオを検討する。
プレトレーニング拡散モデルの蒸留実験は、Diff-Instructが最先端の単一ステップ拡散モデルをもたらすことを示す。
GANモデルの精錬実験は、Diff-Instructが様々な設定でGANモデルの事前訓練されたジェネレータを一貫して改善できることを示している。
関連論文リスト
- Constrained Diffusion Models via Dual Training [80.03953599062365]
拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。
所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。
本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
論文 参考訳（メタデータ） (2024-08-27T14:25:42Z) - Variational Distillation of Diffusion Policies into Mixture of Experts [26.315682445979302]
本研究は, 拡散反応をエキスパート混合体 (MoE) に蒸留する新しい方法である変動拡散蒸留 (VDD) を導入する。
拡散モデル(英: Diffusion Models)は、複雑なマルチモーダル分布を正確に学習し、表現する能力があるため、生成モデリングにおける現在の最先端技術である。
VDDは、事前学習した拡散モデルをMoEモデルに蒸留し、拡散モデルの表現性を混合モデルの利点と組み合わせる最初の方法である。
論文 参考訳（メタデータ） (2024-06-18T12:15:05Z) - Neural Flow Diffusion Models: Learnable Forward Process for Improved Diffusion Modelling [2.1779479916071067]
より広い範囲のプロセスをサポートすることで拡散モデルを強化する新しいフレームワークを提案する。
また,前処理を学習するための新しいパラメータ化手法を提案する。
結果はNFDMの汎用性と幅広い応用の可能性を評価する。
論文 参考訳（メタデータ） (2024-04-19T15:10:54Z) - Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。
拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。
本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
論文 参考訳（メタデータ） (2024-02-16T16:47:21Z) - Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。
本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-14T11:19:11Z) - Structural Pruning for Diffusion Models [65.02607075556742]
Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。
複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-05-18T12:38:21Z) - Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。
RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。
3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
論文 参考訳（メタデータ） (2023-04-14T13:51:26Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳（メタデータ） (2022-09-06T16:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。