論文の概要: Distilling Diversity and Control in Diffusion Models
- arxiv url: http://arxiv.org/abs/2503.10637v3
- Date: Mon, 21 Jul 2025 21:21:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-23 15:16:10.949252
- Title: Distilling Diversity and Control in Diffusion Models
- Title（参考訳）: 拡散モデルにおける蒸留の多様性と制御
- Authors: Rohit Gandikota, David Bau,
- Abstract要約: 蒸留拡散モデルには限界があり、サンプルの多様性は基本モデルと比べて減少する。
この多様性の喪失にもかかわらず、蒸留されたモデルは基本モデルの基本的な概念表現を維持していることを示す。
多様性蒸留は, 基本モデルを, 効率の良い蒸留モデルに移行する前に, 第一臨界段階のみに戦略的に活用するハイブリッド推論手法である。
- 参考スコア（独自算出の注目度）: 27.352868008401614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distilled diffusion models suffer from a critical limitation: reduced sample diversity compared to their base counterparts. In this work, we uncover that despite this diversity loss, distilled models retain the fundamental concept representations of base models. We demonstrate control distillation - where control mechanisms like Concept Sliders and LoRAs trained on base models can be seamlessly transferred to distilled models and vice-versa, effectively distilling control without any retraining. This preservation of representational structure prompted our investigation into the mechanisms of sample-diversity collapse during distillation. To understand how distillation affects diversity, we utilize $\hat{\mathbf{x}}_{0}$ visualization as an analysis and debugging tool to reveal how models predict final outputs at intermediate steps. Through $\hat{\mathbf{x}}_{0}$ visualization, we identify generation artifacts, inconsistencies, and demonstrate that initial diffusion timesteps disproportionately determine output diversity, while later steps primarily refine details. Based on these insights, we introduce diversity distillation - a hybrid inference approach that strategically employs the base model for only the first critical timestep before transitioning to the efficient distilled model. Our experiments demonstrate that this simple modification not only restores the diversity capabilities from base to distilled models but surprisingly exceeds it, while maintaining nearly the computational efficiency of distilled inference, all without requiring additional training or model modifications. Our code and data are available at https://distillation.baulab.info/
- Abstract（参考訳）: 蒸留拡散モデルには限界があり、サンプルの多様性は基本モデルと比べて減少する。
本研究では, この多様性の喪失にもかかわらず, 蒸留モデルが基本モデルの基本的な概念表現を維持していることを明らかにする。
基本モデル上で訓練された概念スライダやLoRAなどの制御機構を,蒸留モデルや逆転モデルにシームレスに移行し,再学習なしに効果的に制御を蒸留する,制御蒸留を実証する。
この表象構造の保存は, 蒸留中の試料多様性崩壊機構の解明に繋がった。
蒸留が多様性にどのように影響するかを理解するために、分析およびデバッグツールとして$\hat{\mathbf{x}}_{0}$ビジュアライゼーションを使用して、中間ステップでモデルが最終的な出力を予測する方法を明らかにする。
$\hat{\mathbf{x}}_{0}$ビジュアライゼーションにより、生成アーティファクト、不整合を識別し、初期拡散タイムステップが出力の多様性を不均等に決定するのに対し、後続のステップは主に詳細を洗練することを示す。
これらの知見に基づき, 本手法は, 効率的な蒸留モデルに移行する前に, 基本モデルを第1臨界段階のみに戦略的に活用するハイブリッド推論手法であるダイバーシティ蒸留を導入する。
この単純な修正は, 基本モデルから蒸留モデルへの多様性を回復するだけでなく, 蒸留推論の計算効率をほぼ保ちながら, 追加のトレーニングやモデル修正を必要とせず, 驚くほど上回っていることを実証した。
私たちのコードとデータはhttps://distillation.baulab.info/で公開されています。
関連論文リスト
- Revisiting Diffusion Models: From Generative Pre-training to One-Step Generation [2.3359837623080613]
本研究は,拡散訓練を生成前訓練の一形態と見なすことができることを示す。
パラメータの85%が凍結した事前学習モデルの微調整により、ワンステップ生成モデルを作成する。
論文 参考訳（メタデータ） (2025-06-11T03:55:26Z) - Diversity-Driven Generative Dataset Distillation Based on Diffusion Model with Self-Adaptive Memory [33.38900857290244]
この問題を解決するために,拡散モデルに基づく多様性駆動型生成データセット蒸留法を提案する。
蒸留されたデータセットと実際のデータセットの分布を一致させる自己適応メモリを導入し、代表性を評価する。
我々の手法は、ほとんどの状況で既存の最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2025-05-26T03:48:56Z) - MGD$^3$: Mode-Guided Dataset Distillation using Diffusion Models [50.2406741245418]
本稿では,事前学習した拡散モデルを利用したモード誘導拡散モデルを提案する。
提案手法は,異なるデータモードを識別するモード発見,クラス内多様性を高めるモード誘導,および合成試料中のアーティファクトを緩和するモード誘導という3段階のデータセットの多様性に対処する。
本手法は, 蒸留損失を伴う微調整拡散モデルの必要性を排除し, 計算コストを大幅に削減する。
論文 参考訳（メタデータ） (2025-05-25T03:40:23Z) - Antidistillation Sampling [98.87756003405627]
拡張推論トレースを生成するモデルは、モデル蒸留を容易にするリッチトークンシーケンスを不注意に生成する。
この脆弱性を認識したモデル所有者は、モデル性能を損なうことなく蒸留の有効性を制限するサンプリング戦略を求めることができる。
抗蒸留サンプリングは、モデルの実用性を保ちながら、蒸留に著しく効果の低い推理トレースをレンダリングする。
論文 参考訳（メタデータ） (2025-04-17T17:54:14Z) - Denoising Score Distillation: From Noisy Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
低品質データから高品質な生成モデルをトレーニングするための驚くほど効果的で斬新なアプローチであるDSD(Denoising score distillation)を導入する。
DSDはノイズの多い劣化したサンプルにのみ拡散モデルを事前訓練し、精製されたクリーンな出力を生成することができる1ステップの発電機に蒸留する。
論文 参考訳（メタデータ） (2025-03-10T17:44:46Z) - Inference-Time Diffusion Model Distillation [59.350789627086456]
本稿では,新しい推論時間蒸留フレームワークであるDistillation++を紹介する。
条件付きサンプリングの最近の進歩に触発されて,本手法は学生モデルサンプリングを近位最適化問題として再放送する。
逆サンプリング中の蒸留最適化を統合し,教師指導とみなすことができる。
論文 参考訳（メタデータ） (2024-12-12T02:07:17Z) - DDIL: Improved Diffusion Distillation With Imitation Learning [57.3467234269487]
拡散モデルは生成モデリング(例:text-to-image)に優れるが、サンプリングには複数の遅延ネットワークパスが必要である。
プログレッシブ蒸留や一貫性蒸留は、パスの数を減らして将来性を示す。
DDILの一貫性は, プログレッシブ蒸留 (PD), 潜在整合モデル (LCM) および分散整合蒸留 (DMD2) のベースラインアルゴリズムにより向上することを示した。
論文 参考訳（メタデータ） (2024-10-15T18:21:47Z) - Accelerating Diffusion Models with One-to-Many Knowledge Distillation [35.130782477699704]
我々は,1つの教師拡散モデルを複数の学生拡散モデルに蒸留する1対多の知識蒸留(O2MKD)を導入する。
CIFAR10, LSUN Church, CelebA-HQ with DDPM and COCO30K with Stable Diffusion 実験の結果, O2MKD は従来の知識蒸留法や高速サンプリング法にも適用可能であることが示された。
論文 参考訳（メタデータ） (2024-10-05T15:10:04Z) - Variational Distillation of Diffusion Policies into Mixture of Experts [26.315682445979302]
本研究は, 拡散反応をエキスパート混合体 (MoE) に蒸留する新しい方法である変動拡散蒸留 (VDD) を導入する。
拡散モデル(英: Diffusion Models)は、複雑なマルチモーダル分布を正確に学習し、表現する能力があるため、生成モデリングにおける現在の最先端技術である。
VDDは、事前学習した拡散モデルをMoEモデルに蒸留し、拡散モデルの表現性を混合モデルの利点と組み合わせる最初の方法である。
論文 参考訳（メタデータ） (2024-06-18T12:15:05Z) - EM Distillation for One-step Diffusion Models [65.57766773137068]
最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。
本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
論文 参考訳（メタデータ） (2024-05-27T05:55:22Z) - Distilling Diffusion Models into Conditional GANs [90.76040478677609]
複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。
E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。
我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
論文 参考訳（メタデータ） (2024-05-09T17:59:40Z) - Structured Pruning Learns Compact and Accurate Models [28.54826400747667]
タスク固有の構造化プルーニング法CoFi(粗粒および細粒のプルーニング)を提案する。
CoFiは高度に並列化可能なワークを提供し、蒸留方法を精度とレイテンシの両方で一致させる。
GLUEおよびSQuADデータセットを用いた実験により、CoFiは10倍以上のスピードアップと小さな精度低下でモデルを生成することが示された。
論文 参考訳（メタデータ） (2022-04-01T13:09:56Z) - Diversity Matters When Learning From Ensembles [20.05842308307947]
深層アンサンブルは、予測精度とキャリブレーションの両方において、大規模な画像分類タスクにおいて優れている。
訓練が簡単であるにもかかわらず、ディープアンサンブルの計算とメモリコストは、その実行可能性を制限する。
本稿では,このギャップを減らすための簡単な手法,すなわち蒸留した性能を全アンサンブルに近づける手法を提案する。
論文 参考訳（メタデータ） (2021-10-27T03:44:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。