論文の概要: Mask Forcing: Improving Autoregressive Video Diffusion Distillation via Dual-Noise Masking Rollout
- arxiv url: http://arxiv.org/abs/2609.09123v1
- Date: Tue, 08 Sep 2026 17:50:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 20:26:36.243159
- Title: Mask Forcing: Improving Autoregressive Video Diffusion Distillation via Dual-Noise Masking Rollout
- Title（参考訳）: マスク強制:デュアルノイズマスキングロールアウトによる自己回帰型ビデオ拡散蒸留の改善
- Abstract要約: DMD(Distribution Matching Distillation)を通して、訓練済み双方向ビデオ拡散モデルから因果AR学生を抽出する最近の方法
生成されたビデオは、しばしば過飽和と過スムースな問題に悩まされ、視覚的品質とリアリズムが制限される。
本研究では,モード崩壊を緩和するために,AR学生の自己ロールアウトを妨害するデュアルノイズマスキング・ロールアウト戦略であるマスクフォーシングを提案する。
- 参考スコア（独自算出の注目度）: 28.90854720290184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autoregressive (AR) video diffusion models have shown great potential in real-time video generation. Recent methods distill pretrained bidirectional video diffusion models into causal AR students through Distribution Matching Distillation (DMD), but the generated videos often suffer from over-saturation and over-smoothing issues, resulting in limited visual quality and realism. The key contributing factor is the mode-seeking behavior of the reverse KL objective in DMD, which can cause the student distribution to collapse onto only a few modes of the teacher distribution. To address this, we propose Mask Forcing, a Dual-Noise Masking Rollout strategy that perturbs the AR student self-rollout to mitigate mode collapse induced by reverse-KL mode seeking. The core idea is to inject cleaner signals into noisy rollout inputs via random masks along spatial and temporal axes during the self-rollout process of AR diffusion distillation. Such perturbations encourage the student rollouts to explore more regions of the teacher distribution, allowing DMD to provide learning signals beyond the modes already covered by the student. Moreover, the cleaner tokens act as denoising guidance for other noisier tokens, improving the intermediate rollout predictions and reducing error accumulation. Extensive experiments demonstrate that our method improves multiple AR video diffusion distillation methods with higher visual quality efficiently, without incorporating real video data or additional post-training stages.
- Abstract（参考訳）: 自己回帰(AR)ビデオ拡散モデルは、リアルタイムビデオ生成に大きな可能性を示している。
近年の方法では、DMD(Distribution Matching Distillation)を通して、事前訓練された双方向ビデオ拡散モデルを因果AR学生に蒸留しているが、生成されたビデオは過飽和や過スムースな問題に悩まされ、視覚的品質とリアリズムが制限される。
鍵となる要因は、DMDにおける逆KL目標のモード探索行動であり、学生分布が教師分布のわずか数モードに崩壊する可能性がある。
そこで本稿では,Dual-Noise Masking Rollout戦略であるMask Forcingを提案する。
中心となるアイデアは、AR拡散蒸留の自己ロールアウト過程において、ランダムマスクと時間軸に沿って、ノイズの多いロールアウト入力にクリーナー信号を注入することである。
このような混乱は、学生のロールアウトが教師分布のより多くの領域を探索することを奨励し、DMDは生徒が既にカバーしているモードを超えて学習信号を提供する。
さらに、クリーナートークンは、他のノイズの多いトークンのノーズガイダンスとして機能し、中間ロールアウト予測を改善し、エラーの蓄積を減らす。
広汎な実験により,実映像データや追加の訓練段階を組み込まずに,高画質のARビデオ拡散蒸留法を効率よく改善できることが示されている。
関連論文リスト
- Generative Video Compression with Adaptive Score Distillation [27.528262844772993]
我々は、圧縮のためにスクラッチからトレーニングされたビデオ拡散モデルに基づいて構築されたジェネラティブビデオコーデック(GenVC)を紹介する。
実験結果から,GenVCは超低FIDで最先端の知覚品質を実現することが示された。
論文 参考訳（メタデータ） (2026-07-24T05:28:30Z) - OPSD-V: On-Policy Self-Distillation for Post-Training Few-Step Autoregressive Video Generators [68.69611976783243]
OPSD-Vは、数ステップの自己回帰(AR)ビデオ拡散モデルの訓練後の自己蒸留パラダイムである。
鍵となるアイデアは、トレーニング中の時間的文脈として実際の長時間ビデオデータを導入し、それを高密度な軌跡レベルの監視に使用することである。
実験では、視覚的品質、運動力学、VBenchLongスコアが一貫した改善を示している。
論文 参考訳（メタデータ） (2026-07-09T17:59:11Z) - Causal-rCM: A Unified Teacher-Forcing and Self-Forcing Open Recipe for Autoregressive Diffusion Distillation in Streaming Video Generation and Interactive World Models [49.369312232769154]
本稿では,拡散蒸留と因果訓練のための,先進的で統一的でスケーラブルなアルゴリズム非構造オープンレシピであるCausal-rCMを紹介する。
我々は,学習用合成データのみを用いて,フレームワイドおよびチャンクワイドの両方で最先端のストリーミングビデオ生成性能を実現する。
論文 参考訳（メタデータ） (2026-06-24T06:58:02Z) - Data-Forcing Distillation: Restoring Diversity and Fidelity in Few-Step Video Generation [25.352409052792122]
単行のコード変更だけでMDDの多様性と忠実性を回復する単純なポストトレーニングフレームワークであるData-Forcing Distillation (DFD)を提案する。
我々は,我々のフレームワークの詳細な理論的分析を行い,テキスト・ツー・ビデオ,画像・ツー・ビデオ,自動回帰ビデオ生成に対する我々のアプローチを検証する。
論文 参考訳（メタデータ） (2026-06-16T20:38:30Z) - SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation [57.297118390628384]
分散マッチング蒸留(DMD)は、数ステップのビデオ拡散モデルにおいて、推論を加速するための広く使われているパラダイムである。
textbfScore Gradient Matching Distillation (SGMD)を提案する。
教師の停止段階のフィッシャーを安定した分布マッチングの目的として使用しながら、教師に対して偽スコアを直接最適化することで、偽スコアの視点を採用する。
時間的一貫性を維持しつつ、4段階蒸留モデルの運動力学を大幅に改善する。
論文 参考訳（メタデータ） (2026-05-28T15:50:55Z) - On-Policy Adversarial Flow Distillation for Autoregressive Video Generation [34.70887671905755]
逆流蒸留(英: Adversarial Flow Distillation、AFD)は、異種ブラックボックスビデオ蒸留のためのオンラインフレームワークである。
AFDは教師に問い合わせ、同じプロンプトで現在の生徒をロールアウトする。
AFDは、教師のスコア、潜伏者、軌道の騒音、ステップアライメント、逆鎖強化学習を必要とせず、高密度な速度場監視を提供する。
論文 参考訳（メタデータ） (2026-05-25T17:58:12Z) - Transition Matching Distillation for Fast Video Generation [63.1049790376783]
本稿では,ビデオ拡散モデルを効率の良い数ステップ生成器に蒸留するための新しいフレームワークであるTransition Matching Distillation (TMD)を提案する。
TMDは拡散モデルの多段階認知軌道と数段階の確率遷移過程とを一致させる。
TMDは、生成速度と視覚的品質の間の柔軟性と強力なトレードオフを提供する。
論文 参考訳（メタデータ） (2026-01-14T21:30:03Z) - Real-Time Motion-Controllable Autoregressive Video Diffusion [79.32730467857535]
本稿では,AR-Dragを提案する。このAR-Dragは,多様なモーション制御を備えたリアルタイム画像・ビデオ生成のための,RLで拡張された最初の数ステップのARビデオ拡散モデルである。
まず,基本動作制御をサポートするためのベースI2Vモデルを微調整し,さらに軌道ベース報酬モデルによる強化により改良する。
本設計では、自己学習機構を通じてマルコフ特性を保存し、ステップを選択的に分解することで訓練を加速する。
論文 参考訳（メタデータ） (2025-10-09T12:17:11Z) - Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。
提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。
SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
論文 参考訳（メタデータ） (2025-07-24T16:45:05Z) - From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。
この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。
我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
論文 参考訳（メタデータ） (2024-12-10T18:59:50Z) - Accelerating Diffusion Models with One-to-Many Knowledge Distillation [35.130782477699704]
我々は,1つの教師拡散モデルを複数の学生拡散モデルに蒸留する1対多の知識蒸留(O2MKD)を導入する。
CIFAR10, LSUN Church, CelebA-HQ with DDPM and COCO30K with Stable Diffusion 実験の結果, O2MKD は従来の知識蒸留法や高速サンプリング法にも適用可能であることが示された。
論文 参考訳（メタデータ） (2024-10-05T15:10:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。