論文の概要: sDMD: Sinkhorn Distribution Matching Distillation
- arxiv url: http://arxiv.org/abs/2610.39889v1
- Date: Thu, 29 Oct 2026 12:04:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.501214
- Title: sDMD: Sinkhorn Distribution Matching Distillation
- Title（参考訳）: sDMD: Sinkhorn Distribution Matching Distillation
- Abstract要約: 分散マッチング蒸留(DMD)は、多段階拡散モデルを数段階生成器に蒸留する。
識別器出力に基づいてシンクホーン補正を適応的に活性化するsDMDを導入する。
FLUX.1-dev、Qwen-Image-20B、Wan2.1-14Bの2--4のサンプリングステップにより、sDMDはGenEval、DPG、WISE、VBenchの蒸留ベースラインを上回っている。
- 参考スコア（独自算出の注目度）: 33.31986722118065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distribution Matching Distillation (DMD) distills multi-step diffusion models into few-step generators by minimizing reverse KL divergence. Despite its strong performance, DMD guides samples by local density alone, which introduces two limitations: teacher scores can be unreliable in regions of low teacher density, and the mode-seeking behavior of reverse KL can collapse the student onto a subset of the teacher modes. We first connect DMD to Wasserstein gradient flow, showing that its gradient follows from a fixed-point formulation with integral KL (IKL) as the energy functional. This perspective motivates augmenting IKL with an optimal transport term that addresses these limitations by guiding outlier samples toward the target and promoting mode coverage. We realize this term using Sinkhorn divergence estimated from finite batches. In practice, however, errors in the estimated Sinkhorn velocity can perturb in-domain samples for which IKL guidance is already accurate. To this end, we introduce sDMD, which adaptively activates the Sinkhorn correction based on discriminator outputs, focusing on outlier samples where IKL may be unreliable. With 2--4 sampling steps on FLUX.1-dev, Qwen-Image-20B, and Wan2.1-14B, sDMD outperforms distillation baselines on GenEval, DPG, WISE, and VBench while improving sample diversity over DMD2.
- Abstract（参考訳）: 分散マッチング蒸留(DMD)は、逆KL分散を最小化することにより、多段階拡散モデルを数段階生成器に蒸留する。
教師スコアは教師密度の低い地域では信頼性が低く、逆KLのモード探索動作は教師モードのサブセットに崩壊する。
まずDMDをワッサーシュタイン勾配流に接続し、その勾配がエネルギー汎関数として積分KL (IKL) の固定点定式化から導かれることを示す。
この観点は、目標に向かって外れ値サンプルを誘導し、モードカバレッジを促進することにより、これらの制限に対処する最適な輸送項でIKLを増強する動機である。
有限バッチから推定されるシンクホーン発散を用いてこの用語を実現する。
しかし実際には、推定したシンクホーン速度の誤差は、IKLガイダンスが既に正確であるドメイン内のサンプルを摂動させる可能性がある。
この目的のために,識別器出力に基づいてシンクホーン補正を適応的に活性化するsDMDを導入する。
FLUX.1-dev、Qwen-Image-20B、Wan2.1-14Bの2--4のサンプリングステップにより、sDMDはGenEval、DPG、WISE、VBenchの蒸留ベースラインを上回り、サンプルの多様性を改善している。
関連論文リスト
- DistillAlign: Coordinating Mode Covering and Mode Seeking in Autoregressive Video Distillation [29.992105358526715]
本稿では,学生と教師の分布の精度とカバレッジを計測する分布評価プロトコルを提案する。
本稿では, DMD のモード探索目的と Consistency Distillation に基づくモード被覆制約を組み合わせた共同蒸留法を提案する。
論文 参考訳（メタデータ） (2026-07-29T11:58:47Z) - SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation [57.297118390628384]
分散マッチング蒸留(DMD)は、数ステップのビデオ拡散モデルにおいて、推論を加速するための広く使われているパラダイムである。
textbfScore Gradient Matching Distillation (SGMD)を提案する。
教師の停止段階のフィッシャーを安定した分布マッチングの目的として使用しながら、教師に対して偽スコアを直接最適化することで、偽スコアの視点を採用する。
時間的一貫性を維持しつつ、4段階蒸留モデルの運動力学を大幅に改善する。
論文 参考訳（メタデータ） (2026-05-28T15:50:55Z) - Phased DMD: Few-step Distribution Matching Distillation via Score Matching within Subintervals [48.14879329270912]
フェーズドDMDは、Mixture-of-Expertsでフェーズワイド蒸留のアイデアを橋渡しする多段階蒸留フレームワークである。
位相MDDはプログレッシブな分布マッチングとサブインターバル内のスコアマッチングという2つの主要なアイデアに基づいて構築されている。
実験結果から,第2相DMDはDMDよりも出力の多様性を保ちつつ,重要な生成能力を保っていることが明らかとなった。
論文 参考訳（メタデータ） (2025-10-31T17:55:10Z) - VarDiU: A Variational Diffusive Upper Bound for One-Step Diffusion Distillation [16.15071476996734]
近年, 拡散蒸留法は, 1000段階の教師拡散モデルを1段階の生徒生成装置に圧縮している。
既存のアプローチのほとんどは、生徒のスコア関数を介して勾配を近似した拡散発散を用いて生徒モデルを訓練する。
本研究では, 拡散蒸留に直接適用可能な不偏勾配推定器を有する変分拡散性上界であるVarDiUを提案する。
論文 参考訳（メタデータ） (2025-08-28T10:47:50Z) - Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。
提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。
SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
論文 参考訳（メタデータ） (2025-07-24T16:45:05Z) - DDIL: Diversity Enhancing Diffusion Distillation With Imitation Learning [57.3467234269487]
拡散モデルは生成モデリング(例:text-to-image)に優れるが、サンプリングには複数の遅延ネットワークパスが必要である。
プログレッシブ蒸留や一貫性蒸留は、パスの数を減らして将来性を示す。
DDILの一貫性は, プログレッシブ蒸留 (PD), 潜在整合モデル (LCM) および分散整合蒸留 (DMD2) のベースラインアルゴリズムにより向上することを示した。
論文 参考訳（メタデータ） (2024-10-15T18:21:47Z) - (De)-regularized Maximum Mean Discrepancy Gradient Flow [27.70783952195201]
本稿では,最大平均離散(DrMMD)とワッサーシュタイン勾配流の正則化を導入する。
DrMMDフローは、連続時間と離散時間の両方において、広範囲の目標に対して、同時にニア・グロバル収束を保証することができる。
我々の数値スキームは、フロー全体を通して適応的な非正規化スケジュールを使用して、離散化誤差と$chi2$の規則からの逸脱を最適にトレードオフする。
論文 参考訳（メタデータ） (2024-09-23T12:57:42Z) - Sinkhorn Distance Minimization for Knowledge Distillation [97.64216712016571]
知識蒸留(KD)は大規模言語モデル(LLM)の圧縮に広く採用されている。
本稿では,上述のKL,RKL,JSの発散が,それぞれモード緩和,モード崩壊,モード下推定といった問題に悩まされていることを示す。
本研究では,Sinkhorn 距離を利用した Sinkhorn Knowledge Distillation (SinKD) を提案する。
論文 参考訳（メタデータ） (2024-02-27T01:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。