論文の概要: SANA-Video 2.0: Hybrid Linear Attention with Attention Residuals for Efficient Video Generation

• arxiv url: http://arxiv.org/abs/2607.21553v1
• Date: Thu, 23 Jul 2026 17:36:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.504646
• Title: SANA-Video 2.0: Hybrid Linear Attention with Attention Residuals for Efficient Video Generation
• Title（参考訳）: SANA-Video 2.0: 効率的なビデオ生成のための注意残差付きハイブリッドリニアアテンション
• Abstract要約: 5Bおよび14Bスケールでインスタンス化されたハイブリッドビデオ拡散変換器であるSANA-Video 2.0を紹介する。 フルソフトのビデオDiTと品質で一致し、線形アテンションの長い連続スケーリングを維持している。 40ステップのサンプリングにより、SANA-Video 2.0は1つのH100でVBenchスコアが84.30で13.2秒で480pに達した。
• 参考スコア（独自算出の注目度）: 62.15917923814872
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce SANA-Video 2.0, a hybrid video diffusion transformer instantiated at 5B and 14B scales under a unified architecture. Designed to generate high-quality video up to 720p on a single GPU, SANA-Video 2.0 matches full-softmax video DiTs in quality while retaining the favorable long-sequence scaling of linear attention. To avoid quadratic attention throughout, Hybrid Linear-Softmax Attention combines gated linear attention for O(N)-dominated mixing with periodic gated-softmax anchors at a 3:1 ratio, restoring the full-rank token interactions that pure linear attention lacks. To propagate these refreshed representations across depth, Block Attention Residuals (AttnRes) route completed block summaries into later linear layers, enabling anchor-feature reuse and boosting deep-layer effective rank by ~12%. Through from-scratch training, SANA-Video 2.0 learns the complete hybrid directly rather than linearizing pretrained models, with reduced-resolution proxy studies establishing 25% softmax as the optimal quality-efficiency trade-off. With 40-step sampling, SANA-Video 2.0 achieves a VBench score of 84.30 in 13.2s at 480p on a single H100, remaining competitive with far larger softmax video DiTs at a fraction of the latency. Its compiled DiT forward pass is 3.2x faster than a matched full-softmax baseline at 720p/60s, a gap that expands with video duration. Furthermore, full-stack Sol-Engine optimization (kernel fusion, caching, and sparse attention) accelerates this hardware-friendly backbone by a further 3.58x, bringing the 5B pipeline to 13.06s at 720p/5s and making it 120x faster than Wan 2.2-A14B on one H100. Overall, our hybrid design recovers softmax-level expressiveness at substantially reduced cost, unlocking scalable long, high resolution video generation.
• Abstract（参考訳）: SANA-Video 2.0は5Bスケールと14Bスケールでインスタンス化されたハイブリッドビデオ拡散トランスフォーマーである。 SANA-Video 2.0は、1つのGPU上で最大720pの高画質ビデオを生成するように設計されており、線形注意の長い時系列スケーリングを維持しながら、フルソフトマックスのビデオDiTと品質を一致させる。 二次的な注意を避けるために、ハイブリッド線形-ソフトマックス注意はO(N)-支配的な混合に対するゲート線形注意と周期的ゲート-ソフトマックスアンカーを3:1の比率で組み合わせ、純粋な線形注意が欠如するフルランクトークン相互作用を復元する。 これらのリフレッシュされた表現を奥行きに伝達するために、Block Attention Residuals (AttnRes) は完了したブロックサマリーを後続の線形層にルートし、アンカー機能再利用を可能にし、ディープ層有効ランクを約12%向上させた。 オフスクラッチトレーニングを通じて、SANA-Video 2.0は、事前訓練されたモデルの線形化ではなく、完全なハイブリッドを直接学習し、最適な品質と効率のトレードオフとして25%のソフトマックスを確立する。 40ステップのサンプリングにより、SANA-Video 2.0は1つのH100上で480pでVBenchスコアが84.30で、レイテンシのごく一部ではるかに大きなソフトマックスビデオDiTと競合する。 コンパイルされたDiTフォワードパスは、720p/60sのフルソフトマックスベースラインよりも3.2倍速い。 さらに、フルスタックのソルエンジン最適化(カーネル融合、キャッシング、スパースアテンション)により、このハードウェアフレンドリーなバックボーンは3.58倍に加速され、5Bパイプラインは720p/5sで13.06sとなり、1つのH100でWan 2.2-A14Bより120倍高速になった。 全体として、当社のハイブリッドデザインはソフトマックスレベルの表現性を大幅なコスト削減で回収し、スケーラブルで長大で高解像度のビデオ生成を可能にします。

関連論文リスト

• SANA-WM: Efficient Minute-Scale World Modeling with Hybrid Linear Diffusion Transformer [45.09089555026137]
  SANA-WM(SANA-WM)は、1分間の高忠実度、720pの精密なカメラ制御で訓練された効率的なオープンソースワールドモデルである。 SANA-WMはLingBot-WorldやHY-WorldPlayのような大規模産業ベースラインに匹敵する視覚的品質を実現している。
  論文  参考訳（メタデータ） (2026-05-14T17:58:03Z)
• CubeComposer: Spatio-Temporal Autoregressive 4K 360° Video Generation from Perspective Video [86.80231588752957]
  4K解像度の360ビデオを生成する新しい立方体時間自己回帰拡散モデルを提案する。 ビデオを6つの顔で立方体マップ表現に分解することで、CubeComposerは、適切に計画された順序で自動的にコンテンツを合成する。 ベンチマークデータセットの実験では、CubeComposerがネイティブの解像度と視覚的品質で最先端のメソッドより優れていることが示されている。
  論文  参考訳（メタデータ） (2026-03-04T17:06:56Z)
• ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers [10.830662834634879]
  ReHyAtは、ソフトマックスアテンションの忠実度と線形アテンションの効率を結合するハイブリッドアテンション機構である。 実験により,ReHyAtは2次から線形への注目コストを低減しつつ,最先端の映像品質を実現することが示された。
  論文  参考訳（メタデータ） (2026-01-07T19:26:30Z)
• DC-VideoGen: Efficient Video Generation with Deep Compression Video Autoencoder [55.26098043655325]
  DC-VideoGenは、事前訓練されたビデオ拡散モデルに適用することができる。 軽量な微調整を施した深部圧縮潜伏空間に適応することができる。
  論文  参考訳（メタデータ） (2025-09-29T17:59:31Z)
• Attention Surgery: An Efficient Recipe to Linearize Your Video Diffusion Transformer [13.545000689565732]
  トランスフォーマーベースのビデオ拡散モデル(VDM)は、最先端のビデオ生成の品質を提供するが、自己注意の二次コストに制約される。 我々は,訓練前のVDMの注意をスクラッチからトレーニングすることなくリニアライズあるいはハイブリダイズするための効果的なフレームワークである注意外科を紹介した。
  論文  参考訳（メタデータ） (2025-09-29T15:09:51Z)
• SANA-Video: Efficient Video Generation with Block Linear Diffusion Transformer [116.17385614259574]
  SANA-Videoは、720×1280の解像度と分長のビデオを効率よく生成できる小さな拡散モデルである。 2つのコア設計により、効率的な、効果的で、長いビデオ生成が保証されます。 コストの安いSANA-Videoは、現代の最先端の小さな拡散モデルと比較して、競争性能を達成している。
  論文  参考訳（メタデータ） (2025-09-29T12:28:09Z)
• BLADE: Block-Sparse Attention Meets Step Distillation for Efficient Video Generation [27.57431718095974]
  本稿では,ビデオ推論のためのデータフリー共同学習フレームワークBLADEを紹介する。 異なるスケールで顕著な効率向上を示す。 短いビデオシーケンス長を持つCagVideoX-5Bのようなモデルでは、我々のフレームワークはロバストな8.89倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2025-08-14T15:58:59Z)
• An LMM for Efficient Video Understanding via Reinforced Compression of Video Cubes [85.00111442236499]
  本稿では,非時間密度の動画をGumbel Softmax を用いて様々な立方体に分割する新しい知覚パラダイムを持つ LMM である textbfQuicksviewer を提案する。 言語バックボーンから3段階のプログレッシブステージを通じてモデルをトレーニングし、それぞれが知覚効率によって平均420s/1fpsの長大なビデオを組み込む。 トレーニング用ビデオテキストサンプルは0.8Mに過ぎず, 精度が最大8.72倍に向上した。
  論文  参考訳（メタデータ） (2025-04-21T17:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。