論文の概要: Dynamic-in-Few-Step: Unifying Dynamic Computation and Few-Step Distillation for Efficient Video Generation
- arxiv url: http://arxiv.org/abs/2607.06631v1
- Date: Tue, 07 Jul 2026 13:14:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.161129
- Title: Dynamic-in-Few-Step: Unifying Dynamic Computation and Few-Step Distillation for Efficient Video Generation
- Title（参考訳）: ダイナミック・イン・フット・ステップ:効率的なビデオ生成のための動的計算とフット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フット・フ
- Abstract要約: ビデオ拡散モデル(VDM)は、より優れた生成品質を示すが、計算コストの制限に悩まされている。
蒸留プロセスに直接動的構造スペーシングを組み込むことにより,この冗長性を生かした学習後加速フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 24.896148135296198
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video Diffusion Models (VDMs) have demonstrated superior generation quality but suffer from prohibitive computational costs. While recent few-step distillation techniques significantly accelerate inference, they typically enforce a static model architecture across all denoising stages, ignoring the varying computational demands inherent to different noise levels. In this work, we propose a novel post-training acceleration framework that exploits this redundancy by integrating dynamic structural sparsification directly into the distillation process. Unlike conventional post-hoc compression applied to a fixed diffusion pipeline, our approach jointly optimizes the denoising steps and structured model sparsity, transforming a pre-trained VDM into a compact, step-specific Mixture-of-Models (MoM). To address the training instability arising from this joint optimization, we introduce a Progressive Training Strategy coupled with an Output Rollout Mechanism, which ensures the coherent learning of structural decisions across timesteps. Furthermore, we develop a specialized inference engine to deploy the resulting MoM efficiently. Our method is orthogonal to existing acceleration techniques and highly effective: On Wan-14B, it removes 24% of the per-step FLOPs on top of 4-step distillation, adding a 1.2x wall-clock gain and reaching a 30x speedup over the 50-step teacher while preserving competitive generation quality.
- Abstract（参考訳）: ビデオ拡散モデル(VDM)は、より優れた生成品質を示すが、計算コストの制限に悩まされている。
最近の数段階の蒸留技術は推論を著しく加速するが、通常、異なるノイズレベルに固有の様々な計算要求を無視して、全ての段階で静的モデルアーキテクチャを強制する。
本研究では, 蒸留プロセスに直接動的構造スペーシングを組み込むことにより, この冗長性を生かした新しい後学習促進フレームワークを提案する。
固定拡散パイプラインに適用された従来のポストホック圧縮とは異なり,本手法は,事前学習したVDMをコンパクトでステップ固有のMixture-of-Models(MoM)に変換することによって,デノナイズステップと構造化モデル間隔を協調的に最適化する。
この共同最適化から生じるトレーニング不安定性に対処するため、我々は、タイムステップをまたいだ構造決定のコヒーレントな学習を可能にする、アウトプット・ロールアウト・メカニズムと併用したプログレッシブ・トレーニング戦略を導入する。
さらに,結果のMoMを効率的に展開する特化推論エンジンを開発した。
Wan-14Bでは,4段階蒸留の上のFLOPの24%を除去し,1.2倍の壁面のゲインを付加し,50段階の教師よりも30倍の高速化を実現し,競争力のある生成品質を維持した。
関連論文リスト
- DiffusionGemma Technical Report [72.10570774996219]
DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。
DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。
私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
論文 参考訳（メタデータ） (2026-07-31T16:11:46Z) - SATB-VR: Training Few-Step Video Restoration Diffusion Model using SNR-Aware Trajectory Blending [55.764018145256216]
本稿では,補助予測器を介してデノナイジングプロセスを開始する数ステップのパラダイムであるSATB-VRを提案する。
我々は,SATB-VRが,合成,実世界,AIGCベンチマークにおける既存のアプローチに対して良好に動作することを示す。
論文 参考訳（メタデータ） (2026-06-27T01:32:16Z) - Curvature-Adaptive Consistency Flow Matching: Autonomous Trajectory Optimization via Reinforcement Learning [8.422673935994451]
連続蒸留は拡散モデルの推論を 著しく加速させました
本稿では,静的サンプリングの限界に対処するため,曲率適応整合フローマッチングを提案する。
提案手法は,FLUXやSDXLといった大規模モデルに対して,最新の結果を実現する。
論文 参考訳（メタデータ） (2026-06-21T08:49:50Z) - teasr: training-efficient any-step diffusion transformer for real-world image super-resolution [10.733502031936958]
TEASRはReal-ISRのためのトレーニング効率の良い任意のステップ拡散フレームワークである。
我々のキーとなる考え方は、単一拡散モデル内で自己逆蒸留を行うことである。
ノイズレベルの一段階生成を安定化する時間ステップ対応補正戦略を提案する。
論文 参考訳（メタデータ） (2026-06-15T04:02:37Z) - Towards One-step Causal Video Generation via Adversarial Self-Distillation [71.30373662465648]
最近のハイブリッドビデオ生成モデルは、自己回帰時間力学と拡散に基づく空間認知を組み合わせている。
我々のフレームワークは、複数の推論ステップ設定を柔軟にサポートする単一の蒸留モデルを生成する。
論文 参考訳（メタデータ） (2025-11-03T10:12:47Z) - Fewer Denoising Steps or Cheaper Per-Step Inference: Towards Compute-Optimal Diffusion Model Deployment [14.097906894386066]
PostDiffは、トレーニング済みの拡散モデルを加速するためのトレーニング不要のフレームワークである。
我々はPostDiffが最先端拡散モデルの忠実性と効率のトレードオフを大幅に改善できることを示す。
論文 参考訳（メタデータ） (2025-08-08T09:29:37Z) - Training-Free Motion Customization for Distilled Video Generators with Adaptive Test-Time Distillation [53.877572078307935]
蒸留ビデオ生成モデルは、高速で効率的なが、参照ビデオによってガイドされるときの動きのカスタマイズに苦労する。
拡散教師の強制力を活用して運動のカスタマイズを可能にする訓練不要な試験時間蒸留フレームワークであるMotionEchoを提案する。
論文 参考訳（メタデータ） (2025-06-24T06:20:15Z) - Minitron-SSM: Efficient Hybrid Language Model Compression through Group-Aware SSM Pruning [76.88243649182886]
注意と状態空間モデル(SSM)を組み合わせたハイブリッドアーキテクチャは、最先端の精度と実行時のパフォーマンスを達成する。
近年の研究では、アテンションのみのモデルに圧縮と蒸留を適用することで、トレーニングコストのごく一部でより小さく、より正確なモデルが得られることが示されている。
本稿では,SSMブロックの構造的整合性とそのシーケンスモデリング機能を維持するグループ対応プルーニング戦略を提案する。
論文 参考訳（メタデータ） (2025-04-15T17:26:29Z) - One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。
拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。
提案手法は,実測値と非参照値の両方で高い性能を達成する。
論文 参考訳（メタデータ） (2025-03-09T09:39:57Z) - From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。
この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。
我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
論文 参考訳（メタデータ） (2024-12-10T18:59:50Z) - Presto! Distilling Steps and Layers for Accelerating Music Generation [49.34961693154768]
Presto!は、スコアベースの拡散変換器の推論加速度に対するアプローチである。
拡散モデルのEDM-ファミリーのための新しいスコアベース分布マッチング蒸留法(DMD)を開発した。
工程当たりのコストを削減するため,最近の層蒸留法において,単純だが強力な改良が加えられた。
論文 参考訳（メタデータ） (2024-10-07T16:24:18Z) - Adaptive Training Meets Progressive Scaling: Elevating Efficiency in Diffusion Models [52.1809084559048]
TDCトレーニングと呼ばれる新しい2段階分割型トレーニング戦略を提案する。
タスクの類似性と難易度に基づいてタイムステップをグループ化し、高度にカスタマイズされた復調モデルを各グループに割り当て、拡散モデルの性能を向上させる。
2段階のトレーニングでは、各モデルを個別にトレーニングする必要がなくなるが、総トレーニングコストは、単一の統合されたデノナイジングモデルをトレーニングするよりもさらに低い。
論文 参考訳（メタデータ） (2023-12-20T03:32:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。