論文の概要: DecoupAttn: Decoupled Sparse Attention for Training-Free Acceleration of Video Diffusion

• arxiv url: http://arxiv.org/abs/2611.05917v1
• Date: Wed, 04 Nov 2026 04:12:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.938552
• Title: DecoupAttn: Decoupled Sparse Attention for Training-Free Acceleration of Video Diffusion
• Title（参考訳）: DecoupAttn:ビデオ拡散の訓練自由加速のための分離スパース注意
• Abstract要約: スパースアテンションは、いくつかのキーブロックを正確に計算し、残りを補償することにより、数ステップの動画拡散トランスフォーマーを加速させる。 セマンティッククラスタはすべてのキーを補償し、正確なアテンションは位置によってオフラインで固定された数ブロックでエラーを修正する。
• 参考スコア（独自算出の注目度）: 21.80958561291978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse attention accelerates few-step video diffusion transformers by computing a few key blocks exactly and compensating for the rest. However, existing sparse attention still faces key challenges, including identification overhead from finding critical blocks at every denoising step, suboptimal budget allocation that sets sparsity budgets uniformly or by local metrics, and cross-step error accumulation as reused masks or clusters go stale. Observing that the errors left on skipped blocks cancel each other once every key is compensated, we propose DecoupAttn, a new paradigm of decoupled sparse attention: semantic clusters compensate every key, and exact attention corrects their error on a few blocks fixed once offline by position. To support this paradigm, we introduce Distortion Budget, a rate-distortion objective for budget allocation that places exact computation across timesteps, layers, and heads where it removes the most distortion that compensation leaves in the final latent. Built on this budget, we further propose Reassign Cache, in which each step reassigns the drifting keys to cached centroids and refreshes compensation while the budgeted blocks stay fixed. Moreover, DecoupAttn is training-free: a few calibration clips compile one plan offline, and inference runs standard block-sparse kernels with one fused compensation kernel. Our code will be released after submission.
• Abstract（参考訳）: スパースアテンションは、いくつかのキーブロックを正確に計算し、残りを補償することにより、数ステップの動画拡散トランスフォーマーを加速させる。 しかし、既存のスパースな注意は、各デノナイジングステップにおけるクリティカルブロックの発見によるオーバーヘッドの識別、スパシティ予算を均一またはローカルメトリクスで設定する最適以下の予算配分、再利用マスクやクラスタが停滞するにつれて、クロスステップエラーの蓄積など、依然として大きな課題に直面している。 DecoupAttnはスパークアテンションを分離する新しいパラダイムで、セマンティッククラスタはすべてのキーを補償し、正確なアテンションは、オフラインで固定された数ブロックでエラーを修正する。 このパラダイムをサポートするために、予算配分のためのレート歪曲目標である歪み予算を導入し、時間ステップ、レイヤ、ヘッドに正確な計算を配置し、最終的な遅延に残される最も歪みを除去する。 この予算に基づいて構築されたReassign Cacheは、各ステップがドリフトキーをキャッシュされたセントロイドに再割り当てし、予算されたブロックが固定されている間に補償を更新する。 さらに、DecoupAttnはトレーニングフリーで、いくつかのキャリブレーションクリップが1つのプランをオフラインでコンパイルし、推論は1つのフューズされた補償カーネルで標準のブロックスパースカーネルを実行する。 私たちのコードは提出後に解放されます。

関連論文リスト

• Heuristics are Not Enough: Calibrated and Corrected Caching for Video Diffusion Acceleration [9.021039155526394]
  textbfAlignCacheはクローズドループキャッシュフレームワークで、スケジューリング決定と最終生成ビデオに対する真の影響を一致させる。 静的リスクアキュムレータからフィードバック駆動の自己修正コントローラにスケジュールを変換することにより、AlignCacheは最先端のビデオ生成モデル間での優れたアクセラレーション品質のトレードオフを一貫して達成する。
  論文  参考訳（メタデータ） (2026-10-12T10:28:47Z)
• Efficient Linear Bandits via Cluster-Aware Sketching [49.7868381442861]
  有限なアームセットを持つ高次元設定における線形包帯の計算効率の問題について検討する。 線形帯域では、特徴ベクトルの次元$d$の増加は、更新毎にO(d2)$の計算コストを増大させる。 SOFULのような伝統的なスケッチベースの手法は、固定サイズの行列スケッチによる計算を減らすが、空虚な線形後悔を引き起こすリスクを負う。
  論文  参考訳（メタデータ） (2026-09-23T09:10:29Z)
• QuantWM: Temporally Consistent 2-Bit KV Cache Quantization for Video World Models [58.40720767342501]
  ビデオワールドモデルは、生成中にKVキャッシュを格納することで、長距離時間一貫性を実現する。 既存の2ビットKVキャッシュ量子化法は、ビデオワールドモデルに適用した場合、時間的フレッカリングと視覚的劣化を引き起こす。 我々は,ビデオワールドモデルのためのトレーニング不要な2ビットKVキャッシュ量子化フレームワークQuantWMを提案する。
  論文  参考訳（メタデータ） (2026-09-22T13:50:54Z)
• DISTA-Net++: Rethinking Infrared Small Target Unmixing Beyond Sub-Pixel Separation [50.40058918817059]
  長距離赤外線画像は、回折制限されたシグネチャが1つの識別不能なブロブに融合する密度の高いターゲットクラスタに対向する。 DisTA-Net++は2つの相乗的なメカニズムで動的に展開するバックボーンをアンカーする。 DisTA-Net++は、CSO-mAPが16.15%、62.96%の精度で、計算の6分の1に過ぎない。
  論文  参考訳（メタデータ） (2026-09-16T14:57:11Z)
• Surprise Forcing: What to Remember, When to Skip in Long Video Generation [65.0022589149937]
  自己回帰拡散をストリーミングすることで、ミニスケールのビデオ合成が実用的になるが、そのコンテキスト境界と固定化スケジュールはリソースを均一に割り当てる。 我々は、両方の制限をオンラインリソース割り当て問題として扱う、トレーニング不要のフレームワークであるSurprise Forcingを紹介した。 VBench、VBench-Long、VBench-2.0の実験では、提案されたアロケーション戦略は、リアルタイムストリーミングスループットを維持しながら、長時間の一貫性と視覚的品質を改善する。
  論文  参考訳（メタデータ） (2026-07-20T18:37:58Z)
• SVG-EAR: Parameter-Free Linear Compensation for Sparse Video Generation via Error-aware Routing [77.91660464664615]
  Diffusion Transformers (DiTs) はビデオ生成において主要なバックボーンとなっているが、その二次的注意コストは依然として大きなボトルネックとなっている。 本稿では,不足しているコントリビューションをトレーニングなしで回収できることを示す。 パラメータフリーな線形補償分岐であるSVG-EARを導入する。
  論文  参考訳（メタデータ） (2026-03-09T22:15:31Z)
• CADO: From Imitation to Cost Minimization for Heatmap-based Solvers in Combinatorial Optimization [8.485234027066012]
  熱マップに基づく解法は、組合せ最適化(CO)の有望なパラダイムとして登場した 我々は、支配的なスーパーバイザードラーニング(SL)トレーニングパラダイムが、根本的な客観的なミスマッチに悩まされていることを論じる。 本稿では,拡散復号化過程をMDPとして定式化するフレームワークであるCADOを提案し,ポスト復号化ソリューションコストを直接最適化する。
  論文  参考訳（メタデータ） (2026-02-09T02:19:30Z)
• Alleviating Forgetfulness of Linear Attention by Hybrid Sparse Attention and Contextualized Learnable Token Eviction [12.740812798007573]
  有限メモリは、検索集約的なタスクに害を与える忘れやすさを誘導する。 過去のトークンへの直接アクセスを復元する一連のハイブリッドモデルについて検討する。 本稿では,新しい学習可能なトークン消去手法を提案する。
  論文  参考訳（メタデータ） (2025-10-23T17:53:03Z)
• Ada-KV: Optimizing KV Cache Eviction by Adaptive Budget Allocation for Efficient LLM Inference [37.94892570127548]
  大規模言語モデルは様々なドメインで優れていますが、キーバリュー(KV)キャッシュの増加によって効率上の課題に直面しています。 最近の取り組みは、実行中に大量の非クリティカルキャッシュ要素を排除し、KVキャッシュサイズを削減することを目的としている。 本稿では,Ada-KVを提案する。
  論文  参考訳（メタデータ） (2024-07-16T09:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。