論文の概要: Distilling Diversity and Control in Diffusion Models

• arxiv url: http://arxiv.org/abs/2503.10637v1
• Date: Thu, 13 Mar 2025 17:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:51:20.359082
• Title: Distilling Diversity and Control in Diffusion Models
• Title（参考訳）: 拡散モデルにおける蒸留の多様性と制御
• Authors: Rohit Gandikota, David Bau,
• Abstract要約: 蒸留拡散モデルには限界があり、サンプルの多様性は基本モデルと比べて減少する。 この多様性の喪失にもかかわらず、蒸留されたモデルは基本モデルの基本的な概念表現を維持していることを示す。 多様性蒸留は, 基本モデルを, 効率の良い蒸留モデルに移行する前に, 第一臨界段階のみに戦略的に活用するハイブリッド推論手法である。
• 参考スコア（独自算出の注目度）: 27.352868008401614
• License:
• Abstract: Distilled diffusion models suffer from a critical limitation: reduced sample diversity compared to their base counterparts. In this work, we uncover that despite this diversity loss, distilled models retain the fundamental concept representations of base models. We demonstrate control distillation - where control mechanisms like Concept Sliders and LoRAs trained on base models can be seamlessly transferred to distilled models and vice-versa, effectively distilling control without any retraining. This preservation of representational structure prompted our investigation into the mechanisms of diversity collapse during distillation. To understand how distillation affects diversity, we introduce Diffusion Target (DT) Visualization, an analysis and debugging tool that reveals how models predict final outputs at intermediate steps. Through DT-Visualization, we identify generation artifacts, inconsistencies, and demonstrate that initial diffusion timesteps disproportionately determine output diversity, while later steps primarily refine details. Based on these insights, we introduce diversity distillation - a hybrid inference approach that strategically employs the base model for only the first critical timestep before transitioning to the efficient distilled model. Our experiments demonstrate that this simple modification not only restores the diversity capabilities from base to distilled models but surprisingly exceeds it, while maintaining nearly the computational efficiency of distilled inference, all without requiring additional training or model modifications. Our code and data are available at https://distillation.baulab.info
• Abstract（参考訳）: 蒸留拡散モデルには限界があり、サンプルの多様性は基本モデルと比べて減少する。 本研究では, この多様性の喪失にもかかわらず, 蒸留モデルが基本モデルの基本的な概念表現を維持していることを明らかにする。 基本モデル上で訓練された概念スライダやLoRAなどの制御機構を,蒸留モデルや逆転モデルにシームレスに移行し,再学習なしに効果的に制御を蒸留する,制御蒸留を実証する。 この表現構造の保存は,蒸留における多様性の崩壊機構の解明に繋がった。 蒸留が多様性にどのように影響するかを理解するために,中間段階の最終的な出力を予測する解析・デバッグツールであるDiffusion Target (DT) Visualizationを紹介した。 DT-ビジュアル化によって生成成果物や不整合を識別し、初期拡散時間ステップが出力の多様性を不均等に決定するのに対し、後続のステップは主に詳細を洗練することを示す。 これらの知見に基づき, 本手法は, 効率的な蒸留モデルに移行する前に, 基本モデルを第1臨界段階のみに戦略的に活用するハイブリッド推論手法であるダイバーシティ蒸留を導入する。 この単純な修正は, 基本モデルから蒸留モデルへの多様性を回復するだけでなく, 蒸留推論の計算効率をほぼ保ちながら, 追加のトレーニングやモデル修正を必要とせず, 驚くほど上回っていることを実証した。 私たちのコードとデータはhttps://distillation.baulab.infoで公開されています。

関連論文リスト

• Inference-Time Diffusion Model Distillation [59.350789627086456]
  本稿では,新しい推論時間蒸留フレームワークであるDistillation++を紹介する。 条件付きサンプリングの最近の進歩に触発されて,本手法は学生モデルサンプリングを近位最適化問題として再放送する。 逆サンプリング中の蒸留最適化を統合し,教師指導とみなすことができる。
  論文  参考訳（メタデータ） (2024-12-12T02:07:17Z)
• DDIL: Improved Diffusion Distillation With Imitation Learning [57.3467234269487]
  拡散モデルは生成モデリング(例:text-to-image)に優れるが、サンプリングには複数の遅延ネットワークパスが必要である。 プログレッシブ蒸留や一貫性蒸留は、パスの数を減らして将来性を示す。 DDILの一貫性は, プログレッシブ蒸留 (PD), 潜在整合モデル (LCM) および分散整合蒸留 (DMD2) のベースラインアルゴリズムにより向上することを示した。
  論文  参考訳（メタデータ） (2024-10-15T18:21:47Z)
• Accelerating Diffusion Models with One-to-Many Knowledge Distillation [35.130782477699704]
  我々は,1つの教師拡散モデルを複数の学生拡散モデルに蒸留する1対多の知識蒸留(O2MKD)を導入する。 CIFAR10, LSUN Church, CelebA-HQ with DDPM and COCO30K with Stable Diffusion 実験の結果, O2MKD は従来の知識蒸留法や高速サンプリング法にも適用可能であることが示された。
  論文  参考訳（メタデータ） (2024-10-05T15:10:04Z)
• Variational Distillation of Diffusion Policies into Mixture of Experts [26.315682445979302]
  本研究は, 拡散反応をエキスパート混合体 (MoE) に蒸留する新しい方法である変動拡散蒸留 (VDD) を導入する。 拡散モデル(英: Diffusion Models)は、複雑なマルチモーダル分布を正確に学習し、表現する能力があるため、生成モデリングにおける現在の最先端技術である。 VDDは、事前学習した拡散モデルをMoEモデルに蒸留し、拡散モデルの表現性を混合モデルの利点と組み合わせる最初の方法である。
  論文  参考訳（メタデータ） (2024-06-18T12:15:05Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)
• One-Step Diffusion Distillation via Deep Equilibrium Models [64.11782639697883]
  本稿では,拡散モデルを初期雑音から得られた画像に直接蒸留する簡易かつ効果的な方法を提案する。 本手法は,拡散モデルからノイズ/イメージペアのみによる完全オフライントレーニングを可能にする。 GET は FID スコアの点で 5 倍の ViT と一致するので,DEC アーキテクチャがこの能力に不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-12T07:28:40Z)
• Diversity Matters When Learning From Ensembles [20.05842308307947]
  深層アンサンブルは、予測精度とキャリブレーションの両方において、大規模な画像分類タスクにおいて優れている。 訓練が簡単であるにもかかわらず、ディープアンサンブルの計算とメモリコストは、その実行可能性を制限する。 本稿では,このギャップを減らすための簡単な手法,すなわち蒸留した性能を全アンサンブルに近づける手法を提案する。
  論文  参考訳（メタデータ） (2021-10-27T03:44:34Z)
• Pre-trained Summarization Distillation [121.14806854092672]
  近年の分類・回帰作業におけるBERT蒸留の研究は, 直接的知識蒸留による高い性能を示している。 あるいは、機械翻訳の実践者は擬似ラベルを用いて蒸留し、小さなモデルをより大きなモデルの翻訳に基づいて訓練する。 第三に、より単純なアプローチは'shrink and fine-tune' (SFT) であり、より小さな学生モデルにパラメータをコピーして微調整することで、明示的な蒸留を避ける。
  論文  参考訳（メタデータ） (2020-10-24T23:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。