論文の概要: EMPURPLE: A Free Lunch for Diffusion Distillation based on the Information Bottleneck

• arxiv url: http://arxiv.org/abs/2607.04276v1
• Date: Sun, 05 Jul 2026 12:40:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.881061
• Title: EMPURPLE: A Free Lunch for Diffusion Distillation based on the Information Bottleneck
• Title（参考訳）: EMPURPLE:インフォメーション・ボトルネックに基づく拡散蒸留用フリーランチ
• Abstract要約: 拡散モデルは印象的な画像生成の品質を達成するが、推論時には高価である。 我々はこの現象をPAC型一般化境界を用いて解析する。 原モデルからサンプル化した中間潜水剤をリサイクルする訓練不要のEMPURPLEを提案する。
• 参考スコア（独自算出の注目度）: 0.6875312133832079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models achieve impressive image-generation quality but remain expensive at inference time. Diffusion distillation reduces sampling steps, yet many distilled models, including SDXL-Lightning and distribution matching distillation methods, suffer from degraded Fréchet Inception Distance (FID). We analyze this phenomenon through a PAC-style generalization bound. Our analysis suggests that aggressive early-step redirection of the velocity field makes the distillation target harder to learn, enlarging the train-test gap. As a result, early-step output distributions differ between training and inference, causing distribution mismatch in the intermediate noisy latent used as next-step inputs. We empirically validate this mechanism by showing reduced diversity in both intermediate features and final outputs. To address this issue, we propose EMPURPLE, a simple training-free method that recycles intermediate latents sampled from the original model. EMPURPLE is model-agnostic and improves FID by 7\% to 20\% across DMD2, Hyper-SD, FlashSD, and SDXL-Lightning. The repo is: https://github.com/TheLovesOfLadyPurple/Empurple-Training-Free-Algorithm-To-enhance-Diversity-of-The -Diffusion-Distillation-Model
• Abstract（参考訳）: 拡散モデルは印象的な画像生成の品質を達成するが、推論時には高価である。 拡散蒸留はサンプリング工程を減少させるが、SDXLライトニングや分配整合蒸留法を含む多くの蒸留モデルは、劣化したフレシェ・インセプション・ディスタンス(FID)に悩まされる。 我々はこの現象をPAC型一般化境界を用いて解析する。 解析の結果, 速度場の早期方向転換は, 蒸留目標の学習を困難にし, 列車と試験のギャップを増大させることが示唆された。 その結果、初期段階の出力分布はトレーニングと推論で異なり、次の段階の入力として使用される中間雑音ラテントにおける分布ミスマッチが生じる。 中間的特徴と最終的な出力の両方において、多様性の低下を示すことにより、このメカニズムを実証的に検証する。 この問題に対処するため,本研究では,オリジナルのモデルから採取した中間潜水剤をリサイクルする簡単なトレーニング不要のEMPURPLEを提案する。 EMPURPLEはモデルに依存しず、DMD2、Hyper-SD、FlashSD、SDXL-LightningでFIDを7倍から20倍改善する。 https://github.com/TheLovesOfLadyPurple/Empurple-Training-Free-Algorithm-To-Enhance-Diversity-of-The -Diffusion-Distillation-Model

関連論文リスト

• Transition Matching Distillation for Fast Video Generation [63.1049790376783]
  本稿では,ビデオ拡散モデルを効率の良い数ステップ生成器に蒸留するための新しいフレームワークであるTransition Matching Distillation (TMD)を提案する。 TMDは拡散モデルの多段階認知軌道と数段階の確率遷移過程とを一致させる。 TMDは、生成速度と視覚的品質の間の柔軟性と強力なトレードオフを提供する。
  論文  参考訳（メタデータ） (2026-01-14T21:30:03Z)
• VarDiU: A Variational Diffusive Upper Bound for One-Step Diffusion Distillation [16.15071476996734]
  近年, 拡散蒸留法は, 1000段階の教師拡散モデルを1段階の生徒生成装置に圧縮している。 既存のアプローチのほとんどは、生徒のスコア関数を介して勾配を近似した拡散発散を用いて生徒モデルを訓練する。 本研究では, 拡散蒸留に直接適用可能な不偏勾配推定器を有する変分拡散性上界であるVarDiUを提案する。
  論文  参考訳（メタデータ） (2025-08-28T10:47:50Z)
• Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
  本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。 提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。 SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
  論文  参考訳（メタデータ） (2025-07-24T16:45:05Z)
• Inference-Time Diffusion Model Distillation [59.350789627086456]
  本稿では,新しい推論時間蒸留フレームワークであるDistillation++を紹介する。 条件付きサンプリングの最近の進歩に触発されて,本手法は学生モデルサンプリングを近位最適化問題として再放送する。 逆サンプリング中の蒸留最適化を統合し,教師指導とみなすことができる。
  論文  参考訳（メタデータ） (2024-12-12T02:07:17Z)
• DDIL: Diversity Enhancing Diffusion Distillation With Imitation Learning [57.3467234269487]
  拡散モデルは生成モデリング(例:text-to-image)に優れるが、サンプリングには複数の遅延ネットワークパスが必要である。 プログレッシブ蒸留や一貫性蒸留は、パスの数を減らして将来性を示す。 DDILの一貫性は, プログレッシブ蒸留 (PD), 潜在整合モデル (LCM) および分散整合蒸留 (DMD2) のベースラインアルゴリズムにより向上することを示した。
  論文  参考訳（メタデータ） (2024-10-15T18:21:47Z)
• Relational Diffusion Distillation for Efficient Image Generation [27.127061578093674]
  拡散モデルの高い遅延は、コンピューティングリソースの少ないエッジデバイスにおいて、その広範な応用を妨げる。 本研究では,拡散モデルの蒸留に適した新しい蒸留法である拡散蒸留(RDD)を提案する。 提案したRDDは, 最先端の蒸留蒸留法と比較すると1.47FID減少し, 256倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-10-10T07:40:51Z)
• Accelerating Diffusion Models with One-to-Many Knowledge Distillation [35.130782477699704]
  我々は,1つの教師拡散モデルを複数の学生拡散モデルに蒸留する1対多の知識蒸留(O2MKD)を導入する。 CIFAR10, LSUN Church, CelebA-HQ with DDPM and COCO30K with Stable Diffusion 実験の結果, O2MKD は従来の知識蒸留法や高速サンプリング法にも適用可能であることが示された。
  論文  参考訳（メタデータ） (2024-10-05T15:10:04Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。