論文の概要: DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation

• arxiv url: http://arxiv.org/abs/2610.02188v1
• Date: Thu, 01 Oct 2026 17:59:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.367944
• Title: DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation
• Title（参考訳）: DMAD:高速ビジュアル生成のための逆蒸留としての分布マッチング
• Abstract要約: DMAD, Distribution Matching as Adversarial Distillationを導入し, 分布マッチングを分類として再放送する。 判別器では,これらの損失が分布マッチングの基礎となるDMDを回復することを示す。 DMADはFréchet Inception Distance (FID) 1.04、ImageNet-64x64 14.47、COCO-10Kの4ステップSDXL、VBenchの合計スコアは85.15、Wan2.1-T2V-14Bである。
• 参考スコア（独自算出の注目度）: 50.43969311607643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distribution Matching Distillation (DMD) trains a few-step student from the difference between separately estimated target and student scores, so it must keep an auxiliary diffusion model fitted to the student's evolving distribution at extra memory and computation cost. We introduce DMAD, Distribution Matching as Adversarial Distillation, which recasts distribution matching as classification and learns the required log-density ratios directly. Two discriminator heads on a shared backbone distinguish real data and teacher samples from the student's, and linear losses on their logits train the student without auxiliary score fitting. We prove that at the discriminator optimum these losses recover the distribution-matching gradient underlying DMD, through the classical identity linking discriminator logits to log-density ratios. We further introduce gap-based reweighting, which adapts teacher supervision across noise levels from the real-data head's empirical logit gap between real and teacher samples. DMAD reaches a Fréchet Inception Distance (FID) of 1.04 with one-step generation on ImageNet-64x64, 14.47 with four-step SDXL on COCO-10K, and a VBench total score of 85.15 with four-step Wan2.1-T2V-14B, the best values among the compared few-step methods and the multi-step teachers. On MiniMax-H3-33B, our four-step student achieves overall human preference rates of 79.1% over DMD2 and 84.6% over rCM for joint audio-video generation, excluding ties. Our code, models and demos are available at https://yzmblog.github.io/projects/DMAD.
• Abstract（参考訳）: 分散マッチング蒸留(DMD)は、推定された目標と学生のスコアの差から数段階の学生を訓練するので、余分なメモリと計算コストで、生徒の進化する分布に適応した補助拡散モデルを維持する必要がある。 DMAD, Distribution Matching as Adversarial Distillationを導入し, 分布マッチングを分類として再放送し, 必要な対数密度比を直接学習する。 共有バックボーン上の2つの識別器ヘッドは、実際のデータと教師のサンプルを学生のものと区別し、ロジットの線形損失は、補助的なスコアフィッティングなしで生徒を訓練する。 判別器がこれらの損失を最適に最適化すると、識別器の対数と対数密度比を結合する古典的同一性により、DMDの基盤となる分布マッチング勾配が回復する。 さらに、実データヘッドの実データと実データサンプル間の経験的ロジットギャップから、教師の教師監督をノイズレベルにわたって順応するギャップベースのリウェイト処理を導入する。 DMADは1.04のFréchet Inception Distance (FID)に到達し、ImageNet-64x64では1ステップ生成、COCO-10Kでは4ステップSDXLで14.47、VBenchでは4ステップWan2.1-T2V-14Bで85.15となった。 MiniMax-H3-33Bでは、我々の4段階の学生は、DMD2より79.1%、共同オーディオビデオ生成において84.6%の人間の嗜好率を達成した。 私たちのコード、モデル、デモはhttps://yzmblog.github.io/projects/DMADで公開されています。

関連論文リスト

• Distribution Matching Distillation for Continuous Diffusion Language Models [30.165049600097674]
  連続拡散言語モデルは全てのトークンを並列に生成するが、高品質な生成には数百のネットワーク評価(NFE)が必要である。 本研究では, 学生の確率的トークン出力を利用して, 分散蒸留によってこのコストを抑える方法について検討する。
  論文  参考訳（メタデータ） (2026-09-30T17:32:05Z)
• Data Unlearning via Inverse Distillation [65.89214072069687]
  Inverse Distillation Unlearning (IDU) は、教師のマルチステップマッチングモデルを効率的なワンステップの学生ジェネレータに同時に蒸留するフレームワークである。 IDUは,保持クラスにおける生成品質を保ちながら,忘れられたクラスの生成頻度を大幅に低減することを示す。
  論文  参考訳（メタデータ） (2026-09-28T18:39:35Z)
• Any-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space Bridging [13.653084100002737]
  教師が生徒自身が生成するサンプルを補正するオンライン蒸留は、2つのモデルが同じ言語を話すことを前提にしている。 我々は、Any-OPDについて、任意対の潜流整合発生器間のオンライン蒸留のための最初のフレームワークについて述べる。
  論文  参考訳（メタデータ） (2026-08-04T08:23:57Z)
• DistillAlign: Coordinating Mode Covering and Mode Seeking in Autoregressive Video Distillation [29.992105358526715]
  本稿では,学生と教師の分布の精度とカバレッジを計測する分布評価プロトコルを提案する。 本稿では, DMD のモード探索目的と Consistency Distillation に基づくモード被覆制約を組み合わせた共同蒸留法を提案する。
  論文  参考訳（メタデータ） (2026-07-29T11:58:47Z)
• CoDMD: Copula-aware Distribution Matching Distillation for Fast Video Generation [50.353919095724315]
  実世界のシナリオにおける効率的な展開の急激な需要により,ビデオ拡散モデルの蒸留が注目されている。 我々は,凍結教師とオンライン偽モデルによって既に生成されているスコア推定を再利用し,対関係行列を構成する軽量リレーショナルレギュレータであるCopula-Aware DMD(CoDMD)を提案する。 1.3Bと14BスケールのWan-2.1-T2Vモデルシリーズで、CoDMDは50ステップの教師を4ステップの学生に蒸留し、VBenchスコア84.46と84.87を達成しながら、およそ25$times$ Speed-upを達成した。
  論文  参考訳（メタデータ） (2026-06-20T10:33:14Z)
• Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
  本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。 提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。 SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
  論文  参考訳（メタデータ） (2025-07-24T16:45:05Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。