論文の概要: Wave Forcing: Towards Speed-of-Light Streaming Video Generation
- arxiv url: http://arxiv.org/abs/2611.00859v1
- Date: Sat, 31 Oct 2026 12:04:25 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:18:30.599737
- Title: Wave Forcing: Towards Speed-of-Light Streaming Video Generation
- Title(参考訳): Wave Forcing:光速ストリーミングビデオ生成に向けて
- Abstract要約: リアルタイムの長時間ビデオ生成には、一貫した外観と自然な動きを伴う連続的な出力が必要である。
既存のチャンクワイド自己回帰手法は、生成効率と長ビデオ品質の両方において課題に直面している。
本稿では,複数ステップのデノベーションを伴う連続ビデオ出力の生成,トレーニング,実行を共同設計するWave Forcing (WF)を提案する。
- 参考スコア(独自算出の注目度): 26.101000963850705
- License:
- Abstract: Real-time long-video generation requires continuous output with consistent appearance and natural motion. Existing chunk-wise autoregressive methods face challenges in both generation efficiency and long-video quality: serialized denoising and history-cache refresh require two forward passes even with one-step denoising, and longer rollouts can degrade quality and cause camera drift. We propose Wave Forcing (WF), which co-designs generation, training, and execution for continuous video output with multi-step denoising. WF uses chunk-wise causal attention to access earlier, cleaner chunks before their denoising is complete, and distributes staggered denoising and cache-refresh stages across full-model replicas to achieve 1F1C: one output chunk per concurrent forward round after pipeline fill. To adapt the model to this continuous generation process, we develop a three-stage training procedure that successively introduces mixed-noise denoising, motion supervision, and causal adaptation using self-generated history. To execute this process efficiently, Wave Runtime (WaveRT) uses Wave Parallelism (WP) for early K/V delivery and communication-computation overlap, together with optimized kernels and pipelined VAE decoding. Experiments on Wan2.1-T2V-1.3B show that 5-step WF maintains overall quality comparable to Rolling Forcing while achieving higher Dynamic Degree on both short and long videos. Our system efficiency experiments show that 4-step WF achieves 147.6 DiT FPS and 134.8 end-to-end FPS on eight H200 GPUs, yielding 7.07x the single-GPU end-to-end throughput. In DiT-only tests with matched SageAttention+W8A8 backends, denoising steps, and GPU counts, WP delivers up to 2.53x the throughput of the faster of the Ulysses and Ring context-parallel baselines across six model scales (1.3B-14B).
- Abstract(参考訳): リアルタイムの長時間ビデオ生成には、一貫した外観と自然な動きを伴う連続的な出力が必要である。
既存のチャンクワイド自己回帰手法は、生成効率と長ビデオ品質の両方において課題に直面している。シリアライズされたデノイングとヒストリーキャッシュリフレッシュは、1ステップのデノージングでも2つのフォワードパスを必要とし、ロールアウトが長くなると品質が低下し、カメラのドリフトを引き起こす。
本稿では,複数ステップのデノベーションを伴う連続ビデオ出力の生成,トレーニング,実行を共同設計するWave Forcing (WF)を提案する。
WFは、より早くアクセスするためにチャンクワイズな因果的注意を使用し、デノナイズが完了する前によりクリーンなチャンクを使用して、パイプラインフィリング後の同時前方ラウンド毎のアウトプットチャンクを1F1Cを達成するために、フルモデルのレプリカにステージングされたデノナイズとキャッシュ更新ステージを分散する。
この連続的生成プロセスにモデルを適用するために,混合雑音の除去,運動の監督,そして自己生成履歴を用いた因果適応を連続的に導入する3段階の訓練手順を開発した。
このプロセスを効率的に実行するために、Wave Runtime (WaveRT) は、最適化されたカーネルとパイプライン化されたVAEデコーディングとともに、初期のK/V配信と通信-計算オーバーラップにWave Parallelism (WP) を使用している。
Wan2.1-T2V-1.3Bの実験では、5ステップWFはローリングフォースに匹敵する全体的な品質を維持し、ショートビデオとロングビデオの両方でダイナミックデグレを達成する。
システム効率実験により,8つのH200 GPU上で4ステップWFが147.6 DiT FPS,134.8エンドツーエンドFPSを実現し,シングルGPUのエンドツーエンドスループットを7.07倍に向上した。
マッチしたSageAttention+W8A8バックエンド、デノイングステップ、GPUカウントによるDiTのみのテストでは、WPは6つのモデルスケール(1.3B-14B)にわたるUlyssesとRingコンテキスト並列ベースラインのスループットの最大2.53倍を提供する。
関連論文リスト
- TurboT2VA: Fast Large-Scale Text-to-Video-Audio Generation via Score-Regularized Consistency Distillation [105.14745366152725]
TurboT2VAは、ジョイントテキスト・ツー・ビデオ・オーディオ生成のための蒸留および推論フレームワークである。
LTX-2では、4段階の蒸留により512$times$768の標準評価解像度でジェネレータのレイテンシを50.52sから2.51sに短縮する。
完全なスタックは、ジェネレータのレイテンシを318.74sから1つのNVIDIA H20で5.83sに短縮し、54.67$times$ジェネレータのみのスピードアップを達成した。
論文 参考訳(メタデータ) (2026-08-25T15:09:02Z) - Ms. Forcing: Efficient Streaming Video Generation with Multi-Scale Patchification and Attention [20.731300934175042]
Ms.Forcingは、各状態のノイズレベルに空間的粒度を適応させる効率的なストリーミングビデオ生成パラダイムである。
Ms.Forcingは1つのH200 GPU上で22.84 FPSに達し、Rolling Forcingよりも39.6%高速である。
論文 参考訳(メタデータ) (2026-07-23T05:35:31Z) - StreamDiffusionV2: A Streaming System for Dynamic and Interactive Video Generation [65.90400162290057]
生成モデルは、コンテンツの作り方、スタイル、配信方法を再定義することで、ライブストリーミング業界を変革している。
ビデオ拡散の最近の進歩は、オフライン生成のための時間的一貫性とサンプリング効率を著しく改善した。
ライブオンラインストリーミングは厳しいサービスレベル(SLO)の下で動作します。 タイム・ツー・ファーストフレームは最小限でなければなりません。
論文 参考訳(メタデータ) (2025-11-10T18:51:28Z) - Rolling Forcing: Autoregressive Long Video Diffusion in Real Time [86.40480237741609]
Rolling Forcingは、エラーの最小限の蓄積で長いビデオをストリーミングできる、新しいビデオ生成技術である。
転がり強制力には3つの新しい設計が伴う。第一に、エラー伝播を加速する個別のフレームを反復的にサンプリングする代わりに、共同演示方式を設計する。
第2に,アテンションシンク機構を長軸ストリームビデオ生成タスクに導入し,初期フレームのキー値状態をグローバルなコンテキストアンカーとして保持する。
第3に,大半が拡張された遮音窓上での無段蒸留を可能にする効率的な訓練アルゴリズムを設計する。
論文 参考訳(メタデータ) (2025-09-29T17:57:14Z) - AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising [49.785626309848276]
AsyncDiffは、複数のデバイスにまたがるモデル並列化を可能にする、普遍的でプラグアンドプレイのアクセラレーションスキームである。
安定拡散 v2.1 では、AsyncDiff は2.7倍の速度アップと4.0倍のスピードアップを実現し、CLIPスコアの 0.38 をわずかに削減した。
我々の実験は、AsyncDiffがビデオ拡散モデルに容易に適用でき、性能を向上できることを示した。
論文 参考訳(メタデータ) (2024-06-11T03:09:37Z) - StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation [52.56469577812338]
本稿では,インタラクティブな画像生成のためのリアルタイム拡散パイプラインStreamDiffusionを紹介する。
既存の拡散モデルは、テキストや画像プロンプトから画像を作成するのに適しているが、リアルタイムのインタラクションでは不足することが多い。
本稿では,従来のシーケンシャル・デノナイジングをデノナイジング・プロセスに変換する新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-12-19T18:18:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。