論文の概要: LoSA: Near-Lossless Sparse Attention for Training-Free Video Diffusion Acceleration
- arxiv url: http://arxiv.org/abs/2608.12032v1
- Date: Wed, 12 Aug 2026 13:13:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.589396
- Title: LoSA: Near-Lossless Sparse Attention for Training-Free Video Diffusion Acceleration
- Title（参考訳）: LoSA: トレーニング不要なビデオ拡散加速のためのほとんどロスレススパース注意
- Abstract要約: 本研究では, 余剰比ではなく, 99%の保持質量閾値を補正する訓練不要なスパースアテンション法を提案する。
Wan2.1-1.3Bでは、LoSAだけで1.36タイムのスピードアップと0.06ポイントのVBench総合ドロップが与えられる。
3つのビデオ拡散トランスフォーマーと最大3.2倍のスピードアップで、LoSAはトレーニングなしの速度品質のトレードオフを一貫して達成している。
- 参考スコア（独自算出の注目度）: 33.86410643146436
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video diffusion transformers are costly to sample: every denoising step applies self-attention over a long 3D token sequence, a quadratic cost that dominates as resolution and duration grow. Sparse attention reduces this cost without retraining, but existing methods pursue aggressive sparsity, where further speedup costs disproportionately more attention fidelity. We target the opposite end of this trade-off: fix near-lossless fidelity by construction, and remove as much computation as this constraint permits. Two observations make this regime practical: roughly 40% of block interactions can be removed while retaining 99% of the attention mass, and the high-mass support remains stable across denoising steps. We propose LoSA, a training-free sparse-attention method that fixes a retained-mass threshold of 99% rather than a sparsity ratio: it measures exact block attention masses at one early dense step, keeps, for each head and query block, the smallest key/value block set meeting the threshold, and reuses the frozen block indices for all remaining steps. On Wan2.1-1.3B, LoSA alone gives a $1.36\times$ speedup with a 0.06-point VBench Overall drop. The benefit is largest under composition: combined with feature caching, LoSA reaches a $3.2\times$ speedup on HunyuanVideo at a 0.02-point drop, versus 0.32 points for the strongest sparse baseline at comparable speed. Across three video diffusion transformers and speedups up to $3.2\times$, LoSA consistently achieves the best training-free speed-quality trade-off.
- Abstract（参考訳）: ビデオ拡散トランスフォーマーはサンプリングに費用がかかる: 全てのデノイングステップは、解像度と持続時間が増加するにつれて支配される2次コストである、長い3Dトークンシーケンスに自己アテンションを適用する。
スパース・アテンションは再訓練なしにこのコストを低減させるが、既存の手法は攻撃的なスパシティを追求し、さらなるスピードアップコストは不均等に注意の忠実さを増す。
我々は、このトレードオフの反対の端、すなわち、構築によってほぼ無数のフィリティを固定し、この制約が許す限り多くの計算を除去する。
約40%のブロック相互作用は、注意質量の99%を維持しながら取り除くことができ、高質量支持は、着実に安定している。
本手法では,1つの初期密閉ステップにおいて正確なブロック注意質量を測定し,各ヘッドとクエリブロックに対して,閾値を満たす最小のキー/値ブロックを保持し,凍結したブロック指標をすべてのステップで再利用する。
Wan2.1-1.3Bでは、LoSAだけで1.36\times$のスピードアップと0.06ポイントのVBench総合ドロップが与えられる。
機能キャッシングと組み合わせて、LoSAはHunyuanVideoで0.02ポイントのダウンで3.2\times$のスピードアップを達成したが、同じスピードで最強のスパースベースラインでは0.32ポイントだった。
3つのビデオ拡散トランスフォーマーと3.2\times$のスピードアップで、LoSAはトレーニングなしのスピード品質のトレードオフを一貫して達成している。
関連論文リスト
- Sol-Attn: Accelerating Video Generation Inference via On-the-Fly Attention Sparsification [40.871125398000544]
トレーニング不要なダイナミックスパースアテンションは、選択されたキー値ブロックのみを演算することでボトルネックを軽減する。
トレーニング不要なSol-Attnを導入し、1つのオンラインソフトマックスパスで動的ルーティング、スパース計算、近似補正を統一する。
論文 参考訳（メタデータ） (2026-07-27T05:53:28Z) - Surprise Forcing: What to Remember, When to Skip in Long Video Generation [65.0022589149937]
自己回帰拡散をストリーミングすることで、ミニスケールのビデオ合成が実用的になるが、そのコンテキスト境界と固定化スケジュールはリソースを均一に割り当てる。
我々は、両方の制限をオンラインリソース割り当て問題として扱う、トレーニング不要のフレームワークであるSurprise Forcingを紹介した。
VBench、VBench-Long、VBench-2.0の実験では、提案されたアロケーション戦略は、リアルタイムストリーミングスループットを維持しながら、長時間の一貫性と視覚的品質を改善する。
論文 参考訳（メタデータ） (2026-07-20T18:37:58Z) - C$^3$ache: Accelerating World Action Models with Cross Inference Chunk Cache [41.43227699724456]
C$3$acheはトレーニング不要のメソッドで、推論チャンクにまたがって残余をキャッシュし再利用する。
Fast-WAMのバックボーンでの実験では、C$3$acheは壁時計の総推定時間で最大2.5倍のスピードアップを達成している。
論文 参考訳（メタデータ） (2026-06-08T03:01:10Z) - Fast-dDrive: Efficient Block-Diffusion VLM for Autonomous Driving [54.31800246594724]
本稿では,ブロック拡散型VLAであるFast-dDriveについて述べる。
我々は、Fast-dDriveが運転エージェントの速度精度フロンティアを再定義することを示す。
論文 参考訳（メタデータ） (2026-05-22T02:31:32Z) - Dropping the Anchor: Statistical Context Summarization for Distributed Systems via Pulsar Attention [0.37234320870419474]
大規模言語モデル(LLM)を長いシーケンスで推論することは、自己注意の複雑さのために計算コストがかかる。
本稿では,静的アンカーを2つの軽量コンテンツ対応コンポーネントに置き換えるPulsar Attentionを提案する。
RULER と BABILong では、Llama-3.1-8B で、パルサー・アテンションは、高密度のベースラインに対して最大4.7%の絶対的なゲインを持つ128Kのトークンにおいて、星のアテンションと高密度のアテンションの両方に優れる。
論文 参考訳（メタデータ） (2026-05-14T23:43:35Z) - HASTE: Training-Free Video Diffusion Acceleration via Head-Wise Adaptive Sparse Attention [68.95533683996236]
トレーニング不要のスパースアテンションは、トレーニングなしで事前トレーニングされたモデルを加速するため、魅力的である。
既存のオンラインのトップ$p$のスパース・アテンションは、マスクの予測に何の費用もかからない。
これら2つの見過ごされた要因は、ビデオDiTにおけるトレーニング不要のスパースアテンションの実践的スピード品質トレードオフを制限していることを示す。
論文 参考訳（メタデータ） (2026-05-14T07:57:55Z) - Not All Tokens Need 40 Steps: Heterogeneous Step Allocation in Diffusion Transformers for Efficient Video Generation [53.176242285107485]
速度のダイナミクスに基づいて異なる冗長トークンに様々なステップ予算を割り当てる動き自由推論を導入する。
結果として生じるシーケンス長ミスマッチを解決するため、HSAはKV-cache機構を導入し、アクティブトークンが全シーケンスに参加することができる。
We evaluate HSA on the Wan-2 and LTX-2 models for both text-to-video (T2V) and image-to-video (2V) generation。
論文 参考訳（メタデータ） (2026-05-07T19:49:47Z) - LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models [49.93891888238178]
ブロックワイド拡散言語モデル(DLM)は任意の順序で複数のトークンを生成し、自動回帰復号パイプラインに代わる有望な代替手段を提供する。
異なるクエリが異なるプレフィックス位置を選択する場合、KVインフレーション問題により、DLM上では裸のスパースアテンションが失敗する。
キャッシュされたプレフィックスアテンション結果を安定したトークンに再利用し、アクティブトークンのみにスパースアテンションを適用するLOSA(Locality-aware Sparse Attention)を提案する。
論文 参考訳（メタデータ） (2026-04-13T20:53:51Z) - No Cache Left Idle: Accelerating diffusion model via Extreme-slimming Caching [17.396336005757025]
トレーニングフリーでキャッシュベースのアクセラレータであるX-Slim(e-Xtreme-Slimming Caching)を提案する。
タイムステップ、構造(ブロック)、空間(トークン)にわたってキャッシュ可能な冗長性を利用する最初の統一されたフレームワークである。
遅延を最大4.97倍と3.52倍に減らし、知覚損失を最小限に抑える。
論文 参考訳（メタデータ） (2025-12-14T09:02:18Z) - VSA: Faster Video Diffusion with Trainable Sparse Attention [38.37291040904089]
ビデオ拡散トランス (DiTs) のスケーリングは、注意質量の大部分が少数の位置に集中しているにもかかわらず、2次元の注意によって制限される。
私たちはこの観察を、トレーニング可能なハードウェア効率の良いスパースアテンションであるVSAに変換し、Emphbothのトレーニングと推論の完全なアテンションを置き換える。
論文 参考訳（メタデータ） (2025-05-19T17:30:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。