論文の概要: Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD
- arxiv url: http://arxiv.org/abs/2603.20155v1
- Date: Fri, 20 Mar 2026 17:29:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 19:48:39.257434
- Title: Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD
- Title（参考訳）: 単一トークンを超える:離散MDDによる離散拡散モデルの蒸留
- Authors: Emiel Hoogeboom, David Ruhe, Jonathan Heek, Thomas Mensink, Tim Salimans,
- Abstract要約: 現在、離散拡散模型の蒸留は困難である。
提案手法は, 連続領域において高い成功を収めたアイデアを活用し, D-MMD (Disdisrete Moment Matching Distillation) を提案する。
- 参考スコア（独自算出の注目度）: 31.29560268504306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is currently difficult to distill discrete diffusion models. In contrast, continuous diffusion literature has many distillation approaches methods that can reduce sampling steps to a handful. Our method, Discrete Moment Matching Distillation (D-MMD), leverages ideas that have been highly successful in the continuous domain. Whereas previous discrete distillation methods collapse, D-MMD maintains high quality and diversity (given sufficient sampling steps). This is demonstrated on both text and image datasets. Moreover, the newly distilled generators can outperform their teachers.
- Abstract（参考訳）: 現在、離散拡散模型の蒸留は困難である。
対照的に、連続拡散文学は、サンプリングステップをほんの一握りに減らすことができる多くの蒸留手法を持っている。
提案手法は, 連続領域において高い成功を収めたアイデアを活用し, 離散モーメントマッチング蒸留法(D-MMD)を提案する。
従来の個別蒸留法が崩壊するのに対し、D-MMDは高品質で多様性を維持している(十分なサンプリング工程がある)。
これはテキストと画像の両方のデータセットで示される。
さらに、新たに蒸留した発電機は教師より優れている。
関連論文リスト
- Transition Matching Distillation for Fast Video Generation [63.1049790376783]
本稿では,ビデオ拡散モデルを効率の良い数ステップ生成器に蒸留するための新しいフレームワークであるTransition Matching Distillation (TMD)を提案する。
TMDは拡散モデルの多段階認知軌道と数段階の確率遷移過程とを一致させる。
TMDは、生成速度と視覚的品質の間の柔軟性と強力なトレードオフを提供する。
論文 参考訳（メタデータ） (2026-01-14T21:30:03Z) - Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。
提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。
SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
論文 参考訳（メタデータ） (2025-07-24T16:45:05Z) - DDIL: Diversity Enhancing Diffusion Distillation With Imitation Learning [57.3467234269487]
拡散モデルは生成モデリング(例:text-to-image)に優れるが、サンプリングには複数の遅延ネットワークパスが必要である。
プログレッシブ蒸留や一貫性蒸留は、パスの数を減らして将来性を示す。
DDILの一貫性は, プログレッシブ蒸留 (PD), 潜在整合モデル (LCM) および分散整合蒸留 (DMD2) のベースラインアルゴリズムにより向上することを示した。
論文 参考訳（メタデータ） (2024-10-15T18:21:47Z) - Relational Diffusion Distillation for Efficient Image Generation [27.127061578093674]
拡散モデルの高い遅延は、コンピューティングリソースの少ないエッジデバイスにおいて、その広範な応用を妨げる。
本研究では,拡散モデルの蒸留に適した新しい蒸留法である拡散蒸留(RDD)を提案する。
提案したRDDは, 最先端の蒸留蒸留法と比較すると1.47FID減少し, 256倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-10-10T07:40:51Z) - Accelerating Diffusion Models with One-to-Many Knowledge Distillation [35.130782477699704]
我々は,1つの教師拡散モデルを複数の学生拡散モデルに蒸留する1対多の知識蒸留(O2MKD)を導入する。
CIFAR10, LSUN Church, CelebA-HQ with DDPM and COCO30K with Stable Diffusion 実験の結果, O2MKD は従来の知識蒸留法や高速サンプリング法にも適用可能であることが示された。
論文 参考訳（メタデータ） (2024-10-05T15:10:04Z) - EM Distillation for One-step Diffusion Models [65.57766773137068]
最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。
本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
論文 参考訳（メタデータ） (2024-05-27T05:55:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。