論文の概要: Consistent Distribution Matching for Data-Free Diffusion Distillation

• arxiv url: http://arxiv.org/abs/2610.09221v1
• Date: Tue, 06 Oct 2026 23:34:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.646299
• Title: Consistent Distribution Matching for Data-Free Diffusion Distillation
• Title（参考訳）: データフリー拡散蒸留における一貫性分布マッチング
• Abstract要約: フローモデルと拡散モデルは計算コストのかかる数値積分によって推論が遅くなる。 本研究では,拡散・流動モデルの高速化を目的としたシミュレーションフリーでデータフリーな蒸留法を提案する。 私たちのフレームワークでは、凍結した教師とトレーニング可能な学生の2つのモデルしか使用していません。
• 参考スコア（独自算出の注目度）: 18.48246013523614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flow and diffusion models suffer from slow inference due to computationally expensive numerical integration. Distillation provides a promising way for a student model to learn from a teacher's dynamics, enabling one-step or few-step generation. However, existing methods often depend on curated distillation datasets, costly teacher rollouts, or auxiliary proxy networks, which complicate model training and scaling. In this work, we propose Consistent Distribution Matching, a simulation-free and data-free distillation method for accelerating diffusion and flow models while preserving strong generative capacity. Our key insight is to unify sample generation and score estimation with one student network. Thus, our framework uses only two models, a frozen teacher and a trainable student, and optimizes one objective. We prove that minimizing our objective indicates Wasserstein convergence of the student flow-map pushforwards to the teacher marginals. On ImageNet 256$\times$256, our method attains an FID of 2.04 with a single function evaluation (1-NFE) and a 4-NFE FID of 1.37 within 40 epochs of training, surpassing the state-of-the-art distillation baselines without data. Our code code and model are available at https://consistentdmd.github.io/.
• Abstract（参考訳）: フローモデルと拡散モデルは計算コストのかかる数値積分によって推論が遅くなる。 蒸留は、教師のダイナミクスから学習する学生モデルにとって有望な方法であり、ワンステップまたは数ステップの生成を可能にする。 しかし、既存の手法は、しばしば、訓練された蒸留データセット、高価な教師のロールアウト、またはモデルのトレーニングとスケーリングを複雑にする補助的なプロキシネットワークに依存する。 本研究では, シミュレーションフリーでデータフリーな蒸留法であるConsistent Distribution Matchingを提案する。 我々の重要な洞察は、サンプル生成とスコア推定を1つの学生ネットワークで統一することである。 このように、我々のフレームワークは凍結した教師と訓練可能な学生の2つのモデルしか使用せず、一つの目的を最適化する。 目的を最小化することは、Wassersteinが生徒のフローマップを教師の限界まで前進させることを示す。 ImageNet 256$\times$256では、1つの関数評価(1-NFE)を持つ2.04のFIDと4-NFE FIDの4-NFEを40時間以内のトレーニングで達成し、データ無しで最先端の蒸留ベースラインを超えている。 私たちのコードとモデルはhttps://consistentdmd.github.io/.com/で公開されています。

関連論文リスト

• Data Unlearning via Inverse Distillation [65.89214072069687]
  Inverse Distillation Unlearning (IDU) は、教師のマルチステップマッチングモデルを効率的なワンステップの学生ジェネレータに同時に蒸留するフレームワークである。 IDUは,保持クラスにおける生成品質を保ちながら,忘れられたクラスの生成頻度を大幅に低減することを示す。
  論文  参考訳（メタデータ） (2026-09-28T18:39:35Z)
• TwinFlow: Realizing One-step Generation on Large Models with Self-adversarial Flows [25.487712175353035]
  1ステップ生成モデルをトレーニングするフレームワークであるTwinFlowを提案する。 本手法は,テキスト・ツー・イメージタスクにおいて1-NFEで0.83のGenEvalスコアを得る。 提案手法は,GenEval および DPG-Bench ベンチマーク上でのオリジナルの 100-NFE モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-12-03T07:45:46Z)
• Flow Map Distillation Without Data [32.196554686517025]
  最先端のフローモデルは優れた品質を実現するが、遅い反復的なサンプリングが必要である。 このデータ依存は教師データミスマッチの根本的なリスクをもたらすと我々は主張する。 本稿では,教師のサンプリングパスを予測し,自己の複合的誤りを積極的に修正するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-24T18:58:55Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Learning Few-Step Diffusion Models by Trajectory Distribution Matching [18.229753357571116]
  トラジェクティブ・ディストリビュータ・マッチング(TDM)は、トラジェクタ・マッチングとトラジェクタ・マッチングの強さを組み合わせた統合蒸留パラダイムである。 我々は,学習目標を異なるステップで分離し,より調整可能なサンプリングを可能にする,サンプリングステップ対応の目標を開発する。 我々のモデルであるTDMは、様々なバックボーン上で既存の手法よりも優れており、優れた品質を提供し、トレーニングコストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-03-09T15:53:49Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。