論文の概要: Sparse Forcing: Native Trainable Sparse Attention for Real-time Autoregressive Diffusion Video Generation
- arxiv url: http://arxiv.org/abs/2604.21221v1
- Date: Thu, 23 Apr 2026 02:22:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.252873
- Title: Sparse Forcing: Native Trainable Sparse Attention for Real-time Autoregressive Diffusion Video Generation
- Title（参考訳）: スパース強制:リアルタイム自己回帰拡散ビデオ生成のためのネイティブトレーニング可能なスパース注意
- Authors: Boxun Xu, Yuming Du, Zichang Liu, Siyu Yang, Ziyang Jiang, Siqi Yan, Rajasi Saha, Albert Pumarola, Wenchen Wang, Peng Li,
- Abstract要約: 本稿では,自動回帰ビデオ拡散モデルのためのトレーニング・アンド・推論パラダイムであるSparse Forcingを紹介する。
Sparse Forcingは、デコーディングのレイテンシを低減しながら、長距離生成の品質を改善する。
- 参考スコア（独自算出の注目度）: 12.765068538856013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Sparse Forcing, a training-and-inference paradigm for autoregressive video diffusion models that improves long-horizon generation quality while reducing decoding latency. Sparse Forcing is motivated by an empirical observation in autoregressive diffusion rollouts: attention concentrates on a persistent subset of salient visual blocks, forming an implicit spatiotemporal memory in the KV cache, and exhibits a locally structured block-sparse pattern within sliding windows. Building on this observation, we propose a trainable native sparsity mechanism that learns to compress, preserve, and update these persistent blocks while restricting computation within each local window to a dynamically selected local neighborhood. To make the approach practical at scale for both training and inference, we further propose Persistent Block-Sparse Attention (PBSA), an efficient GPU kernel that accelerates sparse attention and memory updates for low-latency, memory-efficient decoding. Experiments show that Sparse Forcing improves the VBench score by +0.26 over Self-Forcing on 5-second text-to-video generation while delivering a 1.11-1.17x decoding speedup and 42% lower peak KV-cache footprint. The gains are more pronounced on longer-horizon rollouts, delivering improved visual quality with +0.68 and +2.74 VBench improvements, and 1.22x and 1.27x speedups on 20-second and 1-minute generations, respectively.
- Abstract（参考訳）: Sparse Forcingは、自動回帰ビデオ拡散モデルのトレーニングと推論のパラダイムであり、復号遅延を低減しつつ、長軸生成の品質を向上させる。
Sparse Forcingは、自己回帰拡散ロールアウトにおける経験的観察によって動機付けられ、注意は、有意な視覚ブロックの永続的なサブセットに集中し、KVキャッシュ内に暗黙の時空間記憶を形成し、スライディングウィンドウ内に局所的に構造化されたブロックスパースパターンを示す。
そこで本研究では,各ローカルウィンドウ内の計算を動的に選択したローカル地区に制限しながら,これらの永続ブロックの圧縮,保存,更新を学習する,トレーニング可能なネイティブスパーシティ機構を提案する。
トレーニングと推論の両方で大規模なアプローチを実現するために,低レイテンシでメモリ効率のよいデコーディングのためのスパースアテンションとメモリ更新を高速化する,効率的なGPUカーネルであるPBSAを提案する。
実験の結果、Sparse ForcingはVBenchのスコアを5秒間のテキスト・ビデオ生成で+0.26向上し、1.11-1.17xデコードスピードアップと42%低いピークKV-cacheフットプリントを実現した。
ロングホライゾンのロールアウトではより顕著で、画質は+0.68と+2.74VBenchの改善、20秒と1分間のスピードアップは1.22倍と1.27倍に向上した。
関連論文リスト
- Long-Horizon Streaming Video Generation via Hybrid Attention with Decoupled Distillation [16.611062315689306]
本稿では,時間的情報保持と計算効率を協調的に最適化するハイブリッド・フォースを提案する。
我々のモデルは、量子化やモデル圧縮なしで、単一のNVIDIA H100 GPU上で29.5 FPSでリアルタイムな832x480ビデオ生成を実現する。
論文 参考訳（メタデータ） (2026-04-11T08:54:07Z) - Small Vision-Language Models are Smart Compressors for Long Video Understanding [73.65465038390771]
長時間のビデオ理解は、欲求に満ちたコンテキストではなく、意図駆動の効率に頼っている。
本稿では,下流の理解のために長い動画を圧縮する効率的なクエリ認識フレームワークであるTempoを提案する。
テストでは、Tempoが1時間のビデオを理論的限界以下に圧縮し、真のロングフォームビデオ理解が意図駆動の効率に依存することを示した。
論文 参考訳（メタデータ） (2026-04-09T11:40:25Z) - V-CAST: Video Curvature-Aware Spatio-Temporal Pruning for Efficient Video Large Language Models [48.80617385008755]
ビデオ言語モデル(VideoLLMs)は理解に強い能力を示すが、長いコンテキスト推論はプリフィル段階では巨大な冗長な視覚トークンに支配されている。
長文ビデオ推論のための訓練不要なプラグアンドプレイプルーニングポリシーであるV-CASTを提案する。
論文 参考訳（メタデータ） (2026-03-29T11:53:32Z) - Training-free Latent Inter-Frame Pruning with Attention Recovery [50.889009147480856]
現在のビデオ生成モデルは高い計算遅延に悩まされており、リアルタイムアプリケーションは非常にコストがかかる。
本稿では,重複パッチの検出と再計算を行うLIPAR(Latent Inter-frame Pruning with Attention Recovery)フレームワークを提案する。
NVIDIA A6000で平均12.2FPSを達成した場合,ビデオ編集のスループットを$1.45 times$で向上させる。
論文 参考訳（メタデータ） (2026-03-06T01:49:47Z) - Fast Autoregressive Video Diffusion and World Models with Temporal Cache Compression and Sparse Attention [37.91838955436801]
自動回帰ビデオ拡散モデルは、ストリーミング生成、ロングフォーム合成への扉を開くこと、ビデオワールドモデル、インタラクティブなニューラルゲームエンジンを可能にする。
生成が進むにつれて、KVキャッシュが増加し、レイテンシの増加とGPUメモリのエスカレーションが生じる。
我々は、自己回帰拡散のための統合されたトレーニングなしアテンションフレームワークを提案する: TempCacheは、時間的対応によるKVキャッシュをバウンドキャッシュ成長に圧縮し、AnnCAは、高速近傍マッチングを用いてフレーム関連プロンプトを選択することで、クロスアテンションを加速し、AnnSAは各クエリを制限して自己アテンションを拡大する。
論文 参考訳（メタデータ） (2026-02-02T08:31:21Z) - PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。
効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
論文 参考訳（メタデータ） (2026-01-07T19:51:06Z) - BlockVid: Block Diffusion for High-Quality and Consistent Minute-Long Video Generation [44.45173635133032]
BlockVidは、セマンティックなスパースKVキャッシュを備えた、新しいブロック拡散フレームワークである。
LV-Benchは、遠距離コヒーレンスを評価する新しいメトリクスを備えた、微小ビデオのためのきめ細かいベンチマークである。
論文 参考訳（メタデータ） (2025-11-28T08:25:59Z) - StreamDiffusionV2: A Streaming System for Dynamic and Interactive Video Generation [65.90400162290057]
生成モデルは、コンテンツの作り方、スタイル、配信方法を再定義することで、ライブストリーミング業界を変革している。
ビデオ拡散の最近の進歩は、オフライン生成のための時間的一貫性とサンプリング効率を著しく改善した。
ライブオンラインストリーミングは厳しいサービスレベル(SLO)の下で動作します。 タイム・ツー・ファーストフレームは最小限でなければなりません。
論文 参考訳（メタデータ） (2025-11-10T18:51:28Z) - Lightning Fast Caching-based Parallel Denoising Prediction for Accelerating Talking Head Generation [50.04968365065964]
拡散に基づく音声ヘッドモデルは高品質でフォトリアリスティックなビデオを生成するが、推論が遅い。
我々はLightning-fast Caching-based Parallel Denoising Prediction (LightningCP)を紹介する。
また,より高速な注意計算を実現するために,DFA(Decoupled Foreground Attention)を提案する。
論文 参考訳（メタデータ） (2025-08-25T02:58:39Z) - BLADE: Block-Sparse Attention Meets Step Distillation for Efficient Video Generation [27.57431718095974]
本稿では,ビデオ推論のためのデータフリー共同学習フレームワークBLADEを紹介する。
異なるスケールで顕著な効率向上を示す。
短いビデオシーケンス長を持つCagVideoX-5Bのようなモデルでは、我々のフレームワークはロバストな8.89倍のスピードアップを提供する。
論文 参考訳（メタデータ） (2025-08-14T15:58:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。