論文の概要: DistillAlign: Coordinating Mode Covering and Mode Seeking in Autoregressive Video Distillation
- arxiv url: http://arxiv.org/abs/2607.26811v1
- Date: Wed, 29 Jul 2026 11:58:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.657872
- Title: DistillAlign: Coordinating Mode Covering and Mode Seeking in Autoregressive Video Distillation
- Title（参考訳）: DistillAlign: 自動回帰ビデオ蒸留における調整モード被覆とモード探索
- Abstract要約: 本稿では,学生と教師の分布の精度とカバレッジを計測する分布評価プロトコルを提案する。
本稿では, DMD のモード探索目的と Consistency Distillation に基づくモード被覆制約を組み合わせた共同蒸留法を提案する。
- 参考スコア（独自算出の注目度）: 29.992105358526715
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing autoregressive video distillation methods commonly adopt a Distribution Matching Distillation (DMD)-based multi-stage pipeline. However, they typically decouple the initialization and DMD stages -- which then pursue different target distributions -- and judge the intermediate student mainly by visual scores such as VBench. In this paper, we revisit this design from a distributional perspective. Given the mode-seeking nature of the distribution matching loss, a good initialization should match the mode coverage of the target DMD teacher, rather than merely pursuing high quality. To analyze this, we introduce a distributional evaluation protocol that measures precision and coverage between student and teacher distributions in a shared latent space. It exposes differences hidden by visual scores: some initializations reach high precision but low coverage, leading to suboptimal refinement, while mode-covering ones preserve broader support. Furthermore, even when the target distributions are aligned, DMD's reverse-KL objective can still drive the student toward high-probability teacher regions in late training, reducing coverage and diversity. To address this, we propose joint distillation, which combines DMD's mode-seeking objective with a Consistency Distillation-based mode-covering constraint. Experiments show that our method improves generation quality, coverage, and diversity; notably, even with a Wan-1.3B DMD teacher, it outperforms baselines refined with Wan-14B, underscoring the importance of distributional alignment in autoregressive video distillation.
- Abstract（参考訳）: 既存の自己回帰型ビデオ蒸留法では、分散マッチング蒸留(DMD)ベースの多段パイプラインが一般的である。
しかし、彼らは典型的には初期化とMDDステージを分離し、異なる目標分布を追求し、主にVBenchのような視覚的スコアで中間生を判断する。
本稿では,この設計を分布の観点から再考する。
分布整合損失のモード探索性を考えると、良質な初期化は、単に高品質を追求するのではなく、対象のDMD教師のモードカバレッジと一致すべきである。
これを分析するために,学生と教師の分布の精度とカバレッジを,共有潜在空間内で測定する分布評価プロトコルを提案する。
視覚的なスコアによって隠された違いを露呈し、いくつかの初期化は高い精度でカバー範囲が低くなり、最適以下の改善につながります。
さらに、目標分布が一致している場合でも、DMDのリバースKLの目的は、遅いトレーニングで高確率の教師領域へと学生を駆り立て、カバー範囲と多様性を減らすことができる。
そこで本稿では, DMD のモード探索目的と Consistency Distillation に基づくモード被覆制約を組み合わせた共同蒸留法を提案する。
Wan-1.3B の DMD 教師でも,Wan-14B で改良したベースラインよりも優れており,自動回帰ビデオ蒸留における分布アライメントの重要性が強調されている。
関連論文リスト
- Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher [36.07614733558147]
フローマッチングモデルのための教師なしOPDフレームワークである textbfSelf-OPD を紹介する。
Self-OPDは決定論的次状態予測を$K$SDE候補に分割し、ODEサンプルとロールアウトして、決定論的自己参照ベースラインと比較する。
単品と混合報酬のベンチマーク実験により、セルフOPDはタスク固有の教師を伴わずに、以前のRLとOPDメソッドよりも優れていた。
論文 参考訳（メタデータ） (2026-08-27T09:34:23Z) - CoDMD: Copula-aware Distribution Matching Distillation for Fast Video Generation [50.353919095724315]
実世界のシナリオにおける効率的な展開の急激な需要により,ビデオ拡散モデルの蒸留が注目されている。
我々は,凍結教師とオンライン偽モデルによって既に生成されているスコア推定を再利用し,対関係行列を構成する軽量リレーショナルレギュレータであるCopula-Aware DMD(CoDMD)を提案する。
1.3Bと14BスケールのWan-2.1-T2Vモデルシリーズで、CoDMDは50ステップの教師を4ステップの学生に蒸留し、VBenchスコア84.46と84.87を達成しながら、およそ25$times$ Speed-upを達成した。
論文 参考訳（メタデータ） (2026-06-20T10:33:14Z) - SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation [57.297118390628384]
分散マッチング蒸留(DMD)は、数ステップのビデオ拡散モデルにおいて、推論を加速するための広く使われているパラダイムである。
textbfScore Gradient Matching Distillation (SGMD)を提案する。
教師の停止段階のフィッシャーを安定した分布マッチングの目的として使用しながら、教師に対して偽スコアを直接最適化することで、偽スコアの視点を採用する。
時間的一貫性を維持しつつ、4段階蒸留モデルの運動力学を大幅に改善する。
論文 参考訳（メタデータ） (2026-05-28T15:50:55Z) - DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである
本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-14T16:49:09Z) - Continuous-Time Distribution Matching for Few-Step Diffusion Distillation [57.28746398500951]
本稿では,CDM(Continuous-Time Distribution Matching)を導入し,DMDフレームワークを個別アンカーから連続最適化へ移行する。
まず、固定離散スケジュールをランダム長の動的連続スケジュールに置き換える。
第二に、学生の速度場を介して外挿された潜伏者に対してアクティブな軌道外マッチングを行う連続時間アライメント目的を提案する。
論文 参考訳（メタデータ） (2026-05-07T14:56:39Z) - Diversity-Preserved Distribution Matching Distillation for Fast Visual Synthesis [33.341277146439275]
分散整合蒸留(DMD)は、低推論コストで高品質な生成を可能にするために、多段階発生器をその数段階と整列させる。
本稿では, 蒸留工程の役割を明示的に解消する役割分離蒸留フレームワークを提案する。
本手法は, 単純さに拘わらず, サンプルの多様性を保ちながら, テキスト・画像実験における最先端の手法と同等の視覚的品質を維持しながら, 標本の多様性を保っている。
論文 参考訳（メタデータ） (2026-02-03T05:45:25Z) - Distillation of Discrete Diffusion by Exact Conditional Distribution Matching [9.460409527892345]
本稿では, 空調分布マッチングに基づく簡易かつ原理的な蒸留法を提案する。
我々は,この構造を利用して,事前学習した教師と低NFE学生の条件分布を直接一致させる蒸留目標を定義する。
論文 参考訳（メタデータ） (2025-12-15T00:16:10Z) - Decoupled DMD: CFG Augmentation as the Spear, Distribution Matching as the Shield [54.328202401611264]
拡散モデル蒸留は、効率的な数段・単段発生装置を作るための強力な技術として登場した。
数段蒸留の原動力は分布一致ではなく,これまで見過ごされていた成分であるCFG増量 (CFG Augmentation, CA) であることを示す。
本稿では, エンジンとレギュレータのノイズスケジュールを分離するなど, 蒸留工程の原理的な修正を提案し, 更なる性能向上を実現した。
論文 参考訳（メタデータ） (2025-11-27T18:24:28Z) - Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。
提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。
SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
論文 参考訳（メタデータ） (2025-07-24T16:45:05Z) - Importance Weighted Score Matching for Diffusion Samplers with Enhanced Mode Coverage [16.94974733994214]
一般的な手法では、逆KLベースの目的を最適化することで、ターゲットデータの欠如を回避できることが多い。
そこで本研究では,KLの分岐に類似した目的を直接ターゲットとした拡散型サンプリング器の訓練手法を提案する。
我々のアプローチは、すべての分布距離のメトリクスで既存のニューラルサンプリングよりも一貫して優れています。
論文 参考訳（メタデータ） (2025-05-26T02:48:26Z) - DDIL: Diversity Enhancing Diffusion Distillation With Imitation Learning [57.3467234269487]
拡散モデルは生成モデリング(例:text-to-image)に優れるが、サンプリングには複数の遅延ネットワークパスが必要である。
プログレッシブ蒸留や一貫性蒸留は、パスの数を減らして将来性を示す。
DDILの一貫性は, プログレッシブ蒸留 (PD), 潜在整合モデル (LCM) および分散整合蒸留 (DMD2) のベースラインアルゴリズムにより向上することを示した。
論文 参考訳（メタデータ） (2024-10-15T18:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。