論文の概要: SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation
- arxiv url: http://arxiv.org/abs/2608.16585v1
- Date: Mon, 17 Aug 2026 13:47:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.720779
- Title: SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation
- Title（参考訳）: SQuad: 効率的なビデオ生成のためのサブクアドラティックアテンション蒸留
- Abstract要約: ビデオ拡散変換器(DiT)は自己注意操作内で計算の大部分を消費する。
SQuadはサブクアドラティックなアテンション蒸留フレームワークで、蒸留されたアテンションにおいて$mathcalO(nsqrtn)$の複雑さを実現する。
- 参考スコア（独自算出の注目度）: 14.732232216463814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video Diffusion Transformers (DiTs) spend most of their compute inside the Self-Attention operation, whose cost grows quadratically, $\mathcal{O}(n^2)$, with the number of latent tokens $n$. For the task of video generation, the token count is large, so this term dominates runtime and memory, and thereby caps the resolution and duration we can generate. Linear $\mathcal{O}(n)$ and low-rank $\mathcal{O}(nk)$ surrogates of Self-Attention trade the full softmax $QK^T$ for cheaper kernels, but rarely recover the original's expressivity, leaving a stubborn quality gap. Motivated by this, we propose SQuad, a Sub-Quadratic Attention Distillation framework that achieves a complexity of $\mathcal{O}(n\sqrt{n})$ in the resulting distilled Attention, naturally balancing the efficiency v/s expressivity trade-off. Instead of training our own Video DiT from scratch, which is prohibitively expensive, we fit a pretrained full softmax Self-Attention DiT into our proposed SQuad-Attention one by distilling the former in two stages: Flow-Matching Supervised Fine-Tuning (SFT), followed by improved Distribution Matching Distillation (DMD2) which additionally makes the sampling more efficient. On the Wan~2.2 5B text-to-video model, SQuAD matches the quadratic teacher on VBench ($83.20$ v/s $83.08$) while cutting the per-step per-block attention FLOPs by $\sim$$67\times$ and attention latency by $\sim$$11\times$, and end-to-end DiT latency by 2$\times$, all while also generating a video in only $6$ Neural Functional Evaluations (NFEs) instead of the default $100$.
- Abstract（参考訳）: Video Diffusion Transformers (DiTs) はその計算の大部分を Self-Attention 操作に費やし、そのコストは $\mathcal{O}(n^2)$ で、遅延トークンの数は $n$ になる。
ビデオ生成のタスクでは、トークン数が大きいので、この用語は実行時とメモリを支配し、それによって生成できる解像度と期間を制限します。
線形$\mathcal{O}(n)$と低ランク$\mathcal{O}(nk)$ 自己保持のサロゲートは、より安価なカーネルに対してフルソフトマックス$QK^T$を取引するが、元の表現性を回復することは滅多になく、頑丈な品質差を残している。
そこで本研究では, 蒸留された留意値において$\mathcal{O}(n\sqrt{n})$の複雑さを達成し, 効率v/s表現率トレードオフを自然にバランスさせるサブクアドラティック注意蒸留フレームワークであるSQuadを提案する。
今回提案したSQuad-Attention DiTは,フローマッチ・スーパーバイザード・ファイン・チューニング (SFT) と改良された分散マッチング蒸留 (DMD2) の2段階で蒸留し,より効率的にサンプリングすることができる。
Wan~2.2の5Bテキスト・ツー・ビデオモデルでは、SQuADはVBench(83.20$ v/s 8,3.08$)の二次教師と一致し、ブロックごとの注意を減らしながらFLOPsを$\sim$$67\times$で、アテンションレイテンシを$\sim$$$11\times$で、エンドツーエンドのDiTレイテンシを2$\times$で、また、デフォルトの100ドルではなくわずか6$のNeural Functional Evaluations(NFEs)でビデオを生成する。
関連論文リスト
- Asymptotically Optimal Regret for Reinforcement Learning without Horizon Dependence [54.59847568544922]
有限水平時間同質なマルコフ決定過程に対して、$A$状態、$A$アクション、hoighty $H$、および1ドルで有界なトラジェクティブ当たりの合計報酬について、地平自由な後悔について検討する。
失敗確率$$K$はエピソード数で$tilde O(sqrtSAK+S3K)$ hides $mathsfpolyである。
論文 参考訳（メタデータ） (2026-07-22T07:42:19Z) - Kernelized Linear Attention: Breaking the Capacity Wall with Symmetric Cones [4.847095054351615]
リニアアテンションは一定時間繰り返しの推論を約束するが、連想的リコールによって著しく低下する。
Kernelized Linear Attention Activations (KATA)を紹介します。
ランク1の正の半定的な特徴が良好なキャパシティ-干渉トレードオフをもたらすことを示す。
論文 参考訳（メタデータ） (2026-07-19T21:46:09Z) - Closing the Theory-Practice Gap in Spiking Transformers via Effective Dimension [13.891522069967507]
スパイキングトランスは、ニューロモルフィックハードウェアで38ドルから57ドル(約3,500円)のエネルギー効率を提供しながら、従来のトランスフォーマーと競合する精度を実現している。
本稿では, 自己注意をスパイクするための最初の包括的表現性理論を確立する。
論文 参考訳（メタデータ） (2026-04-17T07:15:53Z) - Transform Trained Transformer: Accelerating Naive 4K Video Generation Over 10$\times$ [91.61519033897424]
ネイティブ4Kビデオ生成は、解像度が増大するにつれて、フルアテンションの二次的な計算爆発のため、依然として重要な課題である。
本稿では,前処理ロジックを最適化することで計算要求を大幅に削減する,$textbfT3-Video$と呼ばれる新しいトランスフォーマー補正戦略を提案する。
4K-VBenchの結果は、$textbfT3-Video$が既存のアプローチを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2025-12-15T16:25:39Z) - Test-Time Temporal Sampling for Efficient MLLM Video Understanding [26.144261085897863]
Test-Time Temporal Sampling (T3S) は、MLLMが効率よくかつ効果的に長編ビデオを処理できるトレーニングフリーのプラグアンドプレイ推論ラッパーである。
我々の手法は推論時に完全に動作し、モデル修正や微調整は不要であり、幅広い事前訓練されたMLLMと互換性がある。
論文 参考訳（メタデータ） (2025-11-22T06:59:21Z) - H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers [124.11648300910444]
Heerarchical Hourglass Tokenizer (H$_2$OT) と呼ばれる階層的なプラグアンドプレイプルーニング&ドル回復フレームワークを提案する。
提案手法は汎用的であり,Seq2seqおよびSeq2frameパイプラインの共通VPTモデルに容易に組み込むことができる。
論文 参考訳（メタデータ） (2025-09-08T17:59:59Z) - S$^2$Q-VDiT: Accurate Quantized Video Diffusion Transformer with Salient Data and Sparse Token Distillation [55.35880044416441]
ビデオ拡散モデル(V-DM)の学習後量子化フレームワークであるS$2$Q-VDiTを提案する。
W4A6量子化の下では、S$2$Q-VDiTは3.9倍のモデル圧縮と1.3倍の推論加速を実現している。
論文 参考訳（メタデータ） (2025-08-06T02:12:29Z) - Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers [24.105473321347894]
本稿では,ビデオ拡散変換器(vDiT)の空間加速度フレームワークであるSparse-vDiTを提案する。
Sparse-vDiT が 2.09$times$, 2.38$times$, 1.67$times$理論 FLOP 還元, 1.76$times$, 1.85$times$, 1.58$times$ をそれぞれ達成していることを示す。
我々の研究は、vDiTsの潜伏構造空間を長期ビデオ合成に体系的に活用できることを実証した。
論文 参考訳（メタデータ） (2025-06-03T16:42:37Z) - Scaling Up Liquid-Resistance Liquid-Capacitance Networks for Efficient Sequence Modeling [50.994194925685434]
LrcSSMは$textitnon-linear$リカレントモデルで、現在の線形状態空間層と同じくらい高速に長いシーケンスを処理する。
ヤコビ行列を対角線に強制することにより、全列を並列に解くことができる。
LrcSSMは、Liquid-S4のような他の入力変化系が提供しないことを保証する形式的な勾配安定性を提供する。
論文 参考訳（メタデータ） (2025-05-27T20:02:59Z) - AdaTP: Attention-Debiased Token Pruning for Video Large Language Models [73.70241811066907]
ビデオ大言語モデル (Video Large Language Models, ビデオLLM) は, 映像理解タスクにおいて顕著な成果を上げている。
それらは、複数のビデオフレームから生成される大量の視覚トークンのために、計算上のオーバーヘッドに悩まされることが多い。
AdaTPは2つの専用デバイアスモジュールをパイプラインに統合し、グローバルなアテンションバイアスとローカルなアテンションバイアスをターゲットとする。
論文 参考訳（メタデータ） (2025-05-26T15:08:37Z) - MonarchAttention: Zero-Shot Conversion to Fast, Hardware-Aware Structured Attention [10.244490009712466]
そこで本研究では,モナール行列を用いた準四次的注意近似手法を提案する。
MonarchAttentionはどちらも転送可能で、追加のトレーニングなしでパフォーマンス損失を最小化し、ハードウェア効率が向上する。
視覚や言語問題における多様なタスクやアーキテクチャに対するモナーキアテンションの質を実証する。
論文 参考訳（メタデータ） (2025-05-24T13:44:44Z) - DiG: Scalable and Efficient Diffusion Models with Gated Linear Attention [82.24166963631949]
Diffusion Gated Linear Attention Transformers (DiG) は、最小限のパラメータオーバーヘッドを持つ単純で適用可能なソリューションである。
より優れた効率性と競争効率を示す、平易なU字型アーキテクチャの2つのバリエーションを提供する。
論文 参考訳（メタデータ） (2024-05-28T17:59:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。