論文の概要: Multi-Bandwidth Distribution Matching Distillation: On the Equivalence of Distribution Matching Distillation and Drifting Models
- arxiv url: http://arxiv.org/abs/2610.10989v1
- Date: Wed, 07 Oct 2026 23:21:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.698241
- Title: Multi-Bandwidth Distribution Matching Distillation: On the Equivalence of Distribution Matching Distillation and Drifting Models
- Title（参考訳）: 多帯域分散マッチング蒸留:分散マッチング蒸留モデルとドリフトモデルの有効性について
- Abstract要約: 本研究では, DFSGMからドリフトモデルにおけるアトラクション力場に速度場/雑音場を変換することにより, ドリフトモデルのトレーニングが分散マッチング蒸留と自然に等価であることを証明した。
ドリフトモデルの観点からのDMDに基づく改良手法の提案-多帯域分散マッチング蒸留(MBDMD)-
- 参考スコア（独自算出の注目度）: 12.722313926679417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Researchers are exploring effective one-step generative model continuously, and, Drifting Models (Deng et al., 2026), demonstrate great potential in one-step generation recently. There are works that reveal the connection between Diffusion & Flow Style Generative Models (DFSGMs) (Ho et al., 2020; Song et al., 2020a;b; Lipman et al., 2022; Liu et al., 2022) and Drifting Models (Li & Zhu, 2026; Lai et al., 2026; Turan et al., 2026). But no one has yet established a precise correspondence between the Drifting Model and the widely used distillation method- Distribution Matching Distillation (DMD/DMD2) (Yin et al., 2024b;a) to the best of our knowledge, even though their optimization objective formulas are virtually identical. In this paper, we prove that by converting the velocity-field / noise-field from the pre-trained DFSGMs into the attraction force field in Drifting Models and estimating the repulsion force field from the generative distribution, training the Drifting Model is naturally equivalent to the Distribution Matching Distillation. With this equivalent concept, we propose an improved method based on DMD from the Drifting Model's perspective- Multi-Bandwidth Distribution Matching Distillation (MBDMD).
- Abstract（参考訳）: 研究者は効果的なワンステップ生成モデルを継続的に探求しており、ドリフトモデル(Deng et al , 2026)は最近のワンステップ生成において大きな可能性を実証している。
Diffusion & Flow Style Generative Models (DFSGMs, 2020; Song et al , 2020a;b; Lipman et al , 2022; Liu et al , 2022)とDrifting Models (Li & Zhu, 2026; Lai et al , 2026; Turan et al , 2026)の関連性を明らかにする作品がある。
しかし, ドリフト法と広く用いられている蒸留法であるDMD/DMD2(Yin et al , 2024b;a)との正確な対応は確立されていない。
本稿では,DFSGMの速度場/騒音場をドリフトモデル内のアトラクション力場に変換し,生成物から反発力場を推定することにより,ドリフトモデルを訓練することは自然に分布マッチング蒸留と等価であることを示す。
この等価な概念を用いて,ドリフトモデルの観点からDMDに基づく改良手法を提案する。
関連論文リスト
- CoDMD: Copula-aware Distribution Matching Distillation for Fast Video Generation [50.353919095724315]
実世界のシナリオにおける効率的な展開の急激な需要により,ビデオ拡散モデルの蒸留が注目されている。
我々は,凍結教師とオンライン偽モデルによって既に生成されているスコア推定を再利用し,対関係行列を構成する軽量リレーショナルレギュレータであるCopula-Aware DMD(CoDMD)を提案する。
1.3Bと14BスケールのWan-2.1-T2Vモデルシリーズで、CoDMDは50ステップの教師を4ステップの学生に蒸留し、VBenchスコア84.46と84.87を達成しながら、およそ25$times$ Speed-upを達成した。
論文 参考訳（メタデータ） (2026-06-20T10:33:14Z) - Distilling Drifting Transformers with Representation Autoencoders [23.990618033500695]
表現オートエンコーダ(RAE)は、意味的にリッチな潜在空間によって拡散とフローモデルを改善した。
本研究では,RAE潜在空間が新たに提案されたドリフトモデルによる蒸留と相容れないことを論じる。
論文 参考訳（メタデータ） (2026-06-14T02:46:50Z) - Drift Flow Matching [69.16550765154163]
ドリフトフローマッチング(Drift Flow Matching)は,ドリフト生成モデルとフローベース反復生成を結びつけるフレームワークである。
DFMは直接輸送マップの効率を保ちつつ、複数の推論ステップを通じて生成を洗練させる。
論文 参考訳（メタデータ） (2026-05-17T03:58:01Z) - One-Step Generative Modeling via Wasserstein Gradient Flows [56.266175641614986]
W-Flowは、単純な参照分布からサンプルをターゲットデータ分布からサンプルに変換するジェネレータを1ステップでトレーニングするフレームワークである。
我々は1ステップのImageNet 256$times$256 生成のための新しい技術状況を設定し、モードカバレッジとドメイン転送を改善した 1.29 FID を達成した。
論文 参考訳（メタデータ） (2026-05-12T08:29:44Z) - Generative Modeling via Drifting [63.351930190408545]
本稿では,訓練中の前進方向の分布を進化させ,一段階の推論を自然に認めるDrifting Modelsという新しいパラダイムを提案する。
実験では,1ステップのジェネレータが256 x 256の解像度でImageNetの最先端結果を達成し,FIDは潜時空間で1.54,ピクセル空間で1.61である。
論文 参考訳（メタデータ） (2026-02-04T17:06:49Z) - Phased DMD: Few-step Distribution Matching Distillation via Score Matching within Subintervals [48.14879329270912]
フェーズドDMDは、Mixture-of-Expertsでフェーズワイド蒸留のアイデアを橋渡しする多段階蒸留フレームワークである。
位相MDDはプログレッシブな分布マッチングとサブインターバル内のスコアマッチングという2つの主要なアイデアに基づいて構築されている。
実験結果から,第2相DMDはDMDよりも出力の多様性を保ちつつ,重要な生成能力を保っていることが明らかとなった。
論文 参考訳（メタデータ） (2025-10-31T17:55:10Z) - DDIL: Diversity Enhancing Diffusion Distillation With Imitation Learning [57.3467234269487]
拡散モデルは生成モデリング(例:text-to-image)に優れるが、サンプリングには複数の遅延ネットワークパスが必要である。
プログレッシブ蒸留や一貫性蒸留は、パスの数を減らして将来性を示す。
DDILの一貫性は, プログレッシブ蒸留 (PD), 潜在整合モデル (LCM) および分散整合蒸留 (DMD2) のベースラインアルゴリズムにより向上することを示した。
論文 参考訳（メタデータ） (2024-10-15T18:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。