論文の概要: eDMD: Endpoint Distribution Matching for Few-Step Diffusion Distillation
- arxiv url: http://arxiv.org/abs/2611.17194v1
- Date: Thu, 12 Nov 2026 17:57:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.578476
- Title: eDMD: Endpoint Distribution Matching for Few-Step Diffusion Distillation
- Title(参考訳): eDMD:Few-Step Diffusion Distillationのためのエンドポイント分布マッチング
- Abstract要約: 分散マッチング蒸留(DMD)は,数段階の学生に拡散モデルを蒸留するための主要なパラダイムである。
多段階蒸留では、学生の最終出力のみが供給されるが、既存の方法では、中間状態または全てのデノナイジングステップで偽のモデルを訓練する。
本論文では,学生の最終的な出力にのみ,共有された1つの偽モデルをトレーニングし,それを用いて各デノーミングステップを補正する分散マッチング蒸留(eDMD)を提案する。
- 参考スコア(独自算出の注目度): 25.46904174666534
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distribution matching distillation (DMD) has emerged as a leading paradigm for distilling diffusion models into few-step students, where an auxiliary fake score model tracks the student's distribution and the discrepancy between the teacher and fake predictions drives the student toward the teacher. In multi-step distillation, although only the student's final output is delivered, existing methods train the fake model on intermediate states or across all denoising steps. Consequently, the student's update signal becomes entangled with intermediate distributions, which can distort the matching direction and remain nonzero even after the student's final outputs already match the teacher distribution. To resolve this mismatch, we propose Endpoint Distribution Matching Distillation (eDMD), which trains a single shared fake model exclusively on the student's final outputs and uses it to correct every denoising step. Our theoretical analysis proves that this endpoint reference guarantees that the distribution matching term vanishes if and only if the student's final output distribution matches the teacher's, regardless of intermediate distributions. Beyond the fake reference, we further strengthen teacher supervision through a precise teacher (PT) that replaces single-step guided predictions with short multi-step trajectories on the final noise interval, paired with a calibrated query density for intermediate steps. Experiments on SD3-Medium, FLUX.2-klein (4B and 9B), and Qwen-Image-2.1 demonstrate that eDMD consistently outperforms existing distribution matching methods for 4-step generation.
- Abstract(参考訳): 分散マッチング蒸留 (DMD) は, 学生の分散モデルを少数段階の学生に蒸留する主要なパラダイムとして登場し, 補助的な偽スコアモデルが生徒の分布と, 教師と偽予測との相違を追及し, 生徒を教師に向かわせる。
多段階蒸留では、学生の最終出力のみが供給されるが、既存の方法では、中間状態または全てのデノナイジングステップで偽のモデルを訓練する。
その結果、生徒の更新信号は中間分布と絡み合っており、生徒の最終出力が教師分布と既に一致した後でも、マッチング方向を歪め、ゼロに保つことができる。
このミスマッチを解決するために,学生の最終的な出力に限定して1つの共有フェイクモデルを訓練し,各デノーミングステップの修正に使用するエンドポイント分布マッチング蒸留(eDMD)を提案する。
我々の理論的分析は, 中間分布によらず, 生徒の最終出力分布が教師の出力分布と一致する場合に限って, 分布整合項が消滅することを保証する。
フェイク基準の他に,教師の教師の指導を強化するため,教師の指導力を高めるため,一段階指導による予測を最終ノイズ間隔の短い多段階軌跡に置き換え,中間ステップに対する校正クエリ密度と組み合わせた。
SD3-Medium、FLUX.2-klein (4Bと9B)、Qwen-Image-2.1の実験は、eDMDが4段階生成のための既存の分散マッチング方法より一貫して優れていることを示した。
関連論文リスト
- Trajectory-Regularized Distribution Distillation for One-Step Generation [33.15306440065232]
軌道アライメントは教師の確率フローODEを監督するが、非常に小さなサンプリング予算の下で性能が低下する。
本研究では, トラジェクトリ・レギュラライズド・ディストリメーション(TRD)について, モーメント・ミキチャー・ポリシーを用いて, 分散レベルとトラジェクトリレベルを併用したトラジェクトリ・レギュラライズド・ディストリメーション(TRD)を提案する。
論文 参考訳(メタデータ) (2026-11-08T06:05:40Z) - sDMD: Sinkhorn Distribution Matching Distillation [33.31986722118065]
分散マッチング蒸留(DMD)は、多段階拡散モデルを数段階生成器に蒸留する。
識別器出力に基づいてシンクホーン補正を適応的に活性化するsDMDを導入する。
FLUX.1-dev、Qwen-Image-20B、Wan2.1-14Bの2--4のサンプリングステップにより、sDMDはGenEval、DPG、WISE、VBenchの蒸留ベースラインを上回っている。
論文 参考訳(メタデータ) (2026-10-29T12:04:23Z) - DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation [50.43969311607643]
DMAD, Distribution Matching as Adversarial Distillationを導入し, 分布マッチングを分類として再放送する。
判別器では,これらの損失が分布マッチングの基礎となるDMDを回復することを示す。
DMADはFréchet Inception Distance (FID) 1.04、ImageNet-64x64 14.47、COCO-10Kの4ステップSDXL、VBenchの合計スコアは85.15、Wan2.1-T2V-14Bである。
論文 参考訳(メタデータ) (2026-10-01T17:59:01Z) - DistillAlign: Coordinating Mode Covering and Mode Seeking in Autoregressive Video Distillation [29.992105358526715]
本稿では,学生と教師の分布の精度とカバレッジを計測する分布評価プロトコルを提案する。
本稿では, DMD のモード探索目的と Consistency Distillation に基づくモード被覆制約を組み合わせた共同蒸留法を提案する。
論文 参考訳(メタデータ) (2026-07-29T11:58:47Z) - Reinforcing Few-step Generators via Reward-Tilted Distribution Matching [34.875805803270524]
RTDMD (Reward-Tilted Distribution Matching Distillation) を提案する。
報奨型教師分布へのKL分散の最小化は,自然に分布マッチング項と報奨項に分解されることを示す。
SD3、SD3.5、FLUX.2の実験は、RTDMDが嗜好、美学、作曲のメトリクスをまたいだ新しい最先端の結果を確立することを示した。
論文 参考訳(メタデータ) (2026-05-25T17:59:21Z) - Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。
提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。
SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
論文 参考訳(メタデータ) (2025-07-24T16:45:05Z) - Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation [84.38105530043741]
本稿では, 学生の蒸留を教員の蒸留と整合させて, 蒸留に先立って行うワームアップ蒸留法を提案する。
7つのベンチマークの実験は、ウォームアップ・ディスティルが蒸留に適したウォームアップの学生を提供することを示した。
論文 参考訳(メタデータ) (2025-02-17T12:58:12Z) - DDIL: Diversity Enhancing Diffusion Distillation With Imitation Learning [57.3467234269487]
拡散モデルは生成モデリング(例:text-to-image)に優れるが、サンプリングには複数の遅延ネットワークパスが必要である。
プログレッシブ蒸留や一貫性蒸留は、パスの数を減らして将来性を示す。
DDILの一貫性は, プログレッシブ蒸留 (PD), 潜在整合モデル (LCM) および分散整合蒸留 (DMD2) のベースラインアルゴリズムにより向上することを示した。
論文 参考訳(メタデータ) (2024-10-15T18:21:47Z) - Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。
まず、回帰損失と高価なデータセット構築の必要性を排除します。
第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
論文 参考訳(メタデータ) (2024-05-23T17:59:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。