論文の概要: LVSA: Training-Free Sparse Attention for Long Video Diffusion
- arxiv url: http://arxiv.org/abs/2605.31057v1
- Date: Fri, 29 May 2026 09:28:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.507876
- Title: LVSA: Training-Free Sparse Attention for Long Video Diffusion
- Title（参考訳）: LVSA:長距離ビデオ拡散のためのトレーニング不要のスパース注意
- Abstract要約: ロングビデオスパース注意(Long Video Sparse Attention、LVSA)は、ビデオ拡散トランスフォーマーのトレーニング不要なモデル非依存ブロックスパース注意である。
LVSAは、Wan 2.1 1.3Bの計算を6倍地平線で3.17倍、Wan 2.1 14Bの計算を6倍地平線で2.98倍、HunyuanVideo 1.5の計算を1.5倍地平線で3.33倍まで減少させる。
LVSAはHunyuanVideo 1.5を2倍の水平線で生成することを可能にする。
- 参考スコア（独自算出の注目度）: 6.881458914161503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dense self-attention is the compute and quality bottleneck of long-video diffusion inference: cost grows quadratically with the sequence length, and beyond the training horizon the model converges to near-static output, that is, "frozen" repetitive video. State of the art approaches are either too costly, e.g., they require retraining, or fail to satisfy both performance and quality objectives in a scalable manner. To this end, we introduce Long Video Sparse Attention (LVSA), a training-free model-agnostic block-sparse attention for video diffusion transformers that combines a structured window pattern with rotating global anchors, thus removing the fixed-grid bias which causes long-range temporal artifacts. LVSA, combined with a FlashInfer kernel, reduces compute up to 3.17x on Wan 2.1 1.3B at a 6x horizon, 2.98x on Wan 2.1 14B at a 6x horizon, and 3.33x on HunyuanVideo 1.5 at a 1.5x horizon, compared to dense attention. Beyond reducing compute, LVSA enables HunyuanVideo 1.5 generation at a 2x horizon, which is otherwise out-of-memory on a single GPU. Moreover, LVSA provides speedups up to 2.41x compared to RIFLEx and 3.27x compared to UltraViCo on Wan 2.1 1.3B. To demonstrate applicability across diverse platforms, we apply LVSA on NPUs and achieve speedups up to 2.71x on Wan 2.2 A14B and 3.24x on Wan 2.1 1.3B compared to dense attention. To evaluate quality in a fair way, we introduce VQeval, a tool properly scoring loopy video failures, which instead are rewarded in state of the art evaluators like VBench-Long. LVSA is quality-neutral for generation at training horizon length and quality-positive at extended lengths.
- Abstract（参考訳）: Dense self-attention は長期ビデオ拡散推論の計算と品質のボトルネックであり、コストはシーケンス長と2次的に増加し、トレーニングの地平線を超えて、モデルはほぼ静的な出力、すなわち「凍結」反復的なビデオに収束する。
最先端のアプローチはコストがかかりすぎるか、再トレーニングが必要なか、あるいはスケーラブルな方法でパフォーマンスと品質の両方の目標を満足できないかのどちらかです。
この目的のために,Long Video Sparse Attention (LVSA)を導入した。これは,構造化されたウィンドウパターンと回転するグローバルアンカーを組み合わせたビデオ拡散トランスフォーマーのための,トレーニング不要なモデルに依存しないブロックスパースアテンションである。
LVSAはFlashInferカーネルと組み合わせて、Wan 2.1 1.3Bを6倍、Wan 2.1 14Bを2.98倍、HunyuanVideo 1.5を1.5倍の密度で計算する。
計算の削減以外にも、LVSAはHunyuanVideo 1.5生成を2倍の水平線で実現している。
さらに、LVSAはWan 2.1 1.3BのUltraViCoと比較してRIFLExと3.27倍のスピードアップを提供する。
多様なプラットフォームに適用可能性を示すため、NPUにLVSAを適用し、Wan 2.2 A14Bに2.71倍、Wan 2.1 1.3Bに3.24倍のスピードアップを達成する。
品質を公平に評価するために,VBench-Longのような最先端評価ツールに報酬が与えられるループ型ビデオ故障を適切に評価するツールであるVQevalを導入する。
LVSAは、トレーニング地平線長で生成するための品質中立であり、拡張した長さで品質陽性である。
関連論文リスト
- SANA-Video 2.0: Hybrid Linear Attention with Attention Residuals for Efficient Video Generation [62.15917923814872]
5Bおよび14Bスケールでインスタンス化されたハイブリッドビデオ拡散変換器であるSANA-Video 2.0を紹介する。
フルソフトのビデオDiTと品質で一致し、線形アテンションの長い連続スケーリングを維持している。
40ステップのサンプリングにより、SANA-Video 2.0は1つのH100でVBenchスコアが84.30で13.2秒で480pに達した。
論文 参考訳（メタデータ） (2026-07-23T17:36:05Z) - Veda: Scalable Video Diffusion via Distilled Sparse Attention [38.39010826063852]
生成品質はスパーシティ比自身ではなく,スパースマスクがフルアテンションのタイルワイズ形状とどの程度よく一致しているかによって決定されることを示す。
本稿では,タイル選択を全注意から明示的な再構築問題として定式化する蒸留スパークアテンションフレームワークであるVedaを提案する。
論文 参考訳（メタデータ） (2026-05-28T17:57:07Z) - LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence [107.63317552620231]
LLaVA-OneVision-2(LLaVA-OV-2)について述べる。
幅広いマルチモーダルベンチマークで優れたパフォーマンスを実現している。
際立った能力は、ビデオ理解、時間的接地、空間的接地、操作言語推論にまたがる統一的な認識である。
論文 参考訳（メタデータ） (2026-05-25T15:54:04Z) - HASTE: Training-Free Video Diffusion Acceleration via Head-Wise Adaptive Sparse Attention [68.95533683996236]
トレーニング不要のスパースアテンションは、トレーニングなしで事前トレーニングされたモデルを加速するため、魅力的である。
既存のオンラインのトップ$p$のスパース・アテンションは、マスクの予測に何の費用もかからない。
これら2つの見過ごされた要因は、ビデオDiTにおけるトレーニング不要のスパースアテンションの実践的スピード品質トレードオフを制限していることを示す。
論文 参考訳（メタデータ） (2026-05-14T07:57:55Z) - SANA-Video: Efficient Video Generation with Block Linear Diffusion Transformer [116.17385614259574]
SANA-Videoは、720×1280の解像度と分長のビデオを効率よく生成できる小さな拡散モデルである。
2つのコア設計により、効率的な、効果的で、長いビデオ生成が保証されます。
コストの安いSANA-Videoは、現代の最先端の小さな拡散モデルと比較して、競争性能を達成している。
論文 参考訳（メタデータ） (2025-09-29T12:28:09Z) - BLADE: Block-Sparse Attention Meets Step Distillation for Efficient Video Generation [27.57431718095974]
本稿では,ビデオ推論のためのデータフリー共同学習フレームワークBLADEを紹介する。
異なるスケールで顕著な効率向上を示す。
短いビデオシーケンス長を持つCagVideoX-5Bのようなモデルでは、我々のフレームワークはロバストな8.89倍のスピードアップを提供する。
論文 参考訳（メタデータ） (2025-08-14T15:58:59Z) - PUSA V1.0: Surpassing Wan-I2V with $500 Training Cost by Vectorized Timestep Adaptation [18.2095668161519]
Pusaは、一貫したビデオ拡散フレームワーク内で微細な時間的制御を可能にする、画期的なパラダイムである。
We set a new standard for image-to-video (I2V) generation, to achieve a VBench-I2V total score 87.32%。
この研究は、次世代のビデオ合成のためのスケーラブルで効率的で多用途なパラダイムを確立する。
論文 参考訳（メタデータ） (2025-07-22T00:09:37Z) - Scaling RL to Long Videos [115.96341152407008]
LongVILA-R1-7Bはビデオベンチマークで高いパフォーマンスを達成し、ビデオMMEではそれぞれ65.1%と71.1%の精度を達成した。
LongVILA-R1-7Bは最大8,192フレームのビデオフレームとFPS設定をサポートする。
各種モダリティのRLトレーニングをサポートする,一般公開のためのトレーニングシステムをリリースする。
論文 参考訳（メタデータ） (2025-07-10T17:47:40Z) - VORTA: Efficient Video Diffusion via Routing Sparse Attention [54.84294780326206]
VORTAは2つの新しいコンポーネントを持つアクセラレーションフレームワークである。
VBenchの品質を損なうことなく、エンドツーエンドのスピードアップを$1.76タイムで実現している。
モデルキャッシングやステップ蒸留など、他の様々なアクセラレーション手法とシームレスに統合でき、14.41タイムのスピードアップに到達し、性能劣化を無視できる。
論文 参考訳（メタデータ） (2025-05-24T17:46:47Z) - VSA: Faster Video Diffusion with Trainable Sparse Attention [38.37291040904089]
ビデオ拡散トランス (DiTs) のスケーリングは、注意質量の大部分が少数の位置に集中しているにもかかわらず、2次元の注意によって制限される。
私たちはこの観察を、トレーニング可能なハードウェア効率の良いスパースアテンションであるVSAに変換し、Emphbothのトレーニングと推論の完全なアテンションを置き換える。
論文 参考訳（メタデータ） (2025-05-19T17:30:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。