論文の概要: Dynamics-Aware Sparse Attention for Efficient Autoregressive Video Diffusion
- arxiv url: http://arxiv.org/abs/2610.26262v1
- Date: Mon, 19 Oct 2026 12:19:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 18:37:51.828622
- Title: Dynamics-Aware Sparse Attention for Efficient Autoregressive Video Diffusion
- Title（参考訳）: 自己回帰的ビデオ拡散のためのダイナミックス対応スパースアテンション
- Abstract要約: 本稿では,ストレージと計算の冗長性の両方を排除するため,高密度から疎度な動き駆動生成にシフトする統一フレームワークを提案する。
VBenchの実験では、高い視力を維持しながら、自動回帰ビデオ生成を2.16倍高速化することを示した。
- 参考スコア（独自算出の注目度）: 49.35912060674207
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Autoregressive Diffusion Transformers have emerged as a powerful paradigm for long video generation. However, they are often constrained by prohibitive computational overhead and substantial memory footprints. This inefficiency arises from dense computation mechanisms that allocate uniform processing resources across all spatiotemporal regions, failing to leverage the inherent temporal redundancy of video where motion is typically confined to sparse areas. In this paper, we propose Dynamics-Aware Sparse Attention (DASA), a unified framework that shifts from dense computation to sparse, motion-driven generation to eliminate both storage and computational redundancies. Inspired by video codec principles, our approach explicitly decouples video content into dynamic and static regions. To mitigate memory bottlenecks, we selectively compress the historical KV cache by retaining only dynamic features within the generated chunk. Furthermore, to reduce computational overhead, we employ a region-level computation allocation strategy based on localized dynamics. Additionally, a dynamics-guided distillation method is introduced to enhance performance via a lightweight distillation training process. Experiments on VBench demonstrate that our approach accelerates autoregressive video generation by 2.16x, while preserving high visual fidelity.
- Abstract（参考訳）: 自己回帰拡散変換器は、長いビデオ生成の強力なパラダイムとして登場した。
しかし、計算のオーバーヘッドが禁じられ、メモリフットプリントが大幅に制限されることがしばしばある。
この非効率性は、全ての時空間領域にわたって一様処理資源を割り当てる密度の高い計算機構から生じ、通常、動きがスパース領域に限定されるビデオの時間的冗長性を利用することができない。
本稿では,DASA(Dynamics-Aware Sparse Attention)を提案する。このフレームワークは,高密度な計算からスパースな動作駆動生成へ移行し,ストレージと計算冗長性の両方を排除する。
ビデオコーデックの原理に着想を得た本手法では,映像コンテンツを動的領域と静的領域に明確に分離する。
メモリボトルネックを軽減するため、生成されたチャンク内の動的特徴のみを保持することにより、履歴KVキャッシュを選択的に圧縮する。
さらに、計算オーバーヘッドを低減するために、局所化ダイナミクスに基づく領域レベルの計算割り当て戦略を用いる。
また, 軽度蒸留訓練プロセスを通じて性能向上を図るため, ダイナミックス誘導蒸留法が導入された。
VBenchの実験では、高い視力を維持しながら、自動回帰ビデオ生成を2.16倍高速化することを示した。
関連論文リスト
- Forcing-KV: Hybrid KV Cache Compression for Efficient Autoregressive Video Diffusion Models [32.39747481484621]
自動回帰ビデオ拡散にKVキャッシュ圧縮を導入する。
本稿では,静的ヘッドに対する構造化静的プルーニングと動的ヘッドに対するセグメントワイド類似性に基づく動的プルーニングを行うハイブリッドKVキャッシュ圧縮戦略であるForcing-KVを提案する。
提案手法は,1つのNVIDIA H200 GPU上で毎秒29フレーム以上の生成速度と30%のキャッシュメモリ削減を実現し,LongLiveとSelf Forcingで最大1.35倍,1.50倍のスピードアップを実現し,さらに1080Pで2.82倍のスピードアップを実現した。
論文 参考訳（メタデータ） (2026-05-10T17:59:21Z) - SWIFT: Prompt-Adaptive Memory for Efficient Interactive Long Video Generation [31.105007908298003]
ストリーミング長ビデオ生成は、連続的なセマンティックスイッチングにおいて中心的な課題に直面している。
現在のアプローチは、プロンプトバウンダリや固定メモリ予算でのキャッシュ再構築に依存している。
マルチプロンプト長ビデオ生成のためのトレーニングフリーフレームワークであるSWIFTを提案する。
論文 参考訳（メタデータ） (2026-05-10T09:37:56Z) - Motion-Aware Caching for Efficient Autoregressive Video Generation [73.27762884730272]
MotionCacheは、ピクセルレベルのモーション特性の軽量プロキシとして、フレーム間の差異を利用する。
SkyReels-V2やMAGI-1のような最先端モデルの実験では、MotionCacheが大幅なスピードアップを実現している。
論文 参考訳（メタデータ） (2026-05-03T05:49:27Z) - Accelerating Diffusion-based Video Editing via Heterogeneous Caching: Beyond Full Computing at Sampled Denoising Timestep [37.62908191585867]
HetCacheは、ビデオ・ツー・ビデオ(MV2V)の生成と編集のためのトレーニング不要な拡散加速フレームワークである。
編集の一貫性と忠実さを維持しながら、冗長な注意操作を低減する。
実験によると、HetCacheは2.67$times$レイテンシのスピードアップやFLOPの削減など、目立った加速を実現している。
論文 参考訳（メタデータ） (2026-03-25T12:53:31Z) - Flow caching for autoregressive video generation [72.10021661412364]
自動回帰ビデオ生成に特化して設計された,最初のキャッシュフレームワークであるFlowCacheを紹介する。
本手法は,MAGI-1では2.38倍,SkyReels-V2では6.7倍,品質劣化は無視できない。
論文 参考訳（メタデータ） (2026-02-11T13:11:04Z) - V-Rex: Real-Time Streaming Video LLM Acceleration via Dynamic KV Cache Retrieval [1.677021230191566]
ビデオ大言語モデル(LLM)のストリーミングは、ビデオキャプション、質問応答、会話エージェント、拡張現実といったリアルタイムなマルチモーダルタスクにますます利用されている。
これらのモデルは、キー値(KV)キャッシュが連続的なストリーミングビデオ入力によって大幅に増大するため、基本的なメモリと計算上の課題に直面している。
我々は,ストリーミングビデオLLM推論におけるアルゴリズム的ボトルネックとハードウェア的ボトルネックに対処する,初のソフトウェアとハードウェアの共同設計アクセラレータであるV-Rexを提案する。
論文 参考訳（メタデータ） (2025-12-13T11:02:04Z) - Reward Forcing: Efficient Streaming Video Generation with Rewarded Distribution Matching Distillation [69.57572900337176]
本稿では,効率的なストリーミングビデオ生成のための新しいフレームワークであるReward Forcingを紹介する。
EMA-Sinkトークンは、長期コンテキストと最近のダイナミクスの両方をキャプチャし、初期フレームコピーを防ぐ。
Re-DMDは、視覚言語モデルにより評価されたより大きなダイナミックスを持つサンプルを優先順位付けすることで、モデル出力分布を高逆領域にバイアスする。
論文 参考訳（メタデータ） (2025-12-04T11:12:13Z) - Sliding Window Attention for Learned Video Compression [67.57073402826292]
本研究は3D Sliding Window Attention (SWA)を導入している。
Bjorntegaard Delta-rate saves to up 18.6% %。
論文 参考訳（メタデータ） (2025-10-04T20:11:43Z) - Lightning Fast Caching-based Parallel Denoising Prediction for Accelerating Talking Head Generation [50.04968365065964]
拡散に基づく音声ヘッドモデルは高品質でフォトリアリスティックなビデオを生成するが、推論が遅い。
我々はLightning-fast Caching-based Parallel Denoising Prediction (LightningCP)を紹介する。
また,より高速な注意計算を実現するために,DFA(Decoupled Foreground Attention)を提案する。
論文 参考訳（メタデータ） (2025-08-25T02:58:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。