論文の概要: AB-Attention: Accurate Block Attention for Accelerating Video Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2610.39663v1
• Date: Thu, 29 Oct 2026 09:15:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 23:02:48.877316
• Title: AB-Attention: Accurate Block Attention for Accelerating Video Diffusion Transformers
• Title（参考訳）: AB-Attention: ビデオ拡散変換器の精度向上のためのブロックアテンション
• Abstract要約: ビデオ拡散変換器は高品質なビデオを生成するが、完全な注意が推論を左右する。 動的ブロックスパースアテンションは、現在のアクティベーションから選択されたキー/値ブロックのみを正確に注意することで、このコストを削減する。 本研究では,高頻度での高密度注意を正確に近似する訓練自由度手法である,精度の高いブロック注意(AB-Attention)を提案する。
• 参考スコア（独自算出の注目度）: 15.067488449341779
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Video diffusion transformers generate high-quality videos, but the quadratic cost of 3D full attention dominates their inference. Dynamic block-sparse attention reduces this cost by computing exact attention only on key/value blocks selected from current activations. However, its fidelity degrades under aggressive sparsity: blocks are scored from coarse summaries or formed by costly global clustering, pruned blocks vanish from the softmax, and whole tiles are kept or dropped even when only a few of their keys matter. To address these limitations, we propose Accurate Block Attention (AB-Attention), a training-free method that accurately approximates dense attention at high sparsity. Its Intra-Block Clustering Selector (IBCS) estimates block importance faithfully yet cheaply by clustering queries only within each query block, without permuting tokens. Sampling with Inclusion-Probability Weighting (SIP) then samples blocks in proportion to these estimates and reweights them by inverse inclusion probability, so that one pass estimates dense attention rather than truncating it. Finally, its kernel gathers key/value blocks much smaller than a tile into full tensor-core tiles, refining selection at no extra tensor-core cost. On Wan2.1 and HunyuanVideo, AB-Attention skips 89--92\% of attention, whereas the baselines compute 1.8--3.6$\times$ as much, yet it still improves PSNR by up to 4.4~dB over the strongest baseline and achieves up to 2.23$\times$ end-to-end speedup. Our code is available at https://github.com/InfRec-Cardinal/AB-Attention.
• Abstract（参考訳）: ビデオ拡散変換器は高品質なビデオを生成するが、3Dフルアテンションの二次コストは推論に支配的である。 動的ブロックスパースアテンションは、現在のアクティベーションから選択されたキー/値ブロックのみを正確に注意することで、このコストを削減する。 しかし、その忠実度は、粗大なサマリーから、あるいは高価な大まかなクラスタリングによって形成されたブロック、ソフトマックスから消滅したブロック、そして鍵の一部が問題であったとしても、タイル全体が保持または削除される。 これらの制約に対処するために,高頻度で高密度の注意を正確に近似する訓練自由度手法である,精度の高いブロック注意(AB-Attention)を提案する。 IBCS(Intra-Block Clustering Selector)は、トークンを置換することなく、各クエリブロック内でのみクエリをクラスタリングすることで、ブロックの重要性を確実に評価する。 Inclusion-Probability Weighting (SIP) を用いてサンプリングすると、これらの推定値に比例してブロックをサンプリングし、逆の包含確率で再重み付けする。 最後に、カーネルはタイルよりもはるかに小さい鍵/値ブロックをフルテンソルコアタイルに集め、追加テンソルコアコストで選択を精錬する。 Wan2.1 と HunyuanVideo では、AB-Attention は 89--92\% の注意を欠いているが、ベースラインは 1.8--3.6$\times$ を計算している。 私たちのコードはhttps://github.com/InfRec-Cardinal/AB-Attention.comで利用可能です。

関連論文リスト

• COBS: Cumulant Order Block Sparse Attention [37.17519877899648]
  注意をブロックすることは、大規模言語モデル(LLM)におけるキー値キャッシュリードボトルネックを軽減するハードウェアフレンドリーな方法である。 我々は、DeepSeekのNative Sparse Attention(NSA)を代表的手法として研究し、その3分岐設計によりブロック選択を分離できる。 選択が最大の注目質量を持つブロックを取り出すと、ブロックのスパース・アテンションは密集したアテンションの質と一致することが示される。
  論文  参考訳（メタデータ） (2026-07-10T02:48:43Z)
• Towards Generalization of Block Attention via Automatic Segmentation and Block Distillation [61.19473093799777]
  ブロックアテンションは、Retrieval-Augmented Generation (RAG)のような長期コンテキストシナリオにおけるKVキャッシュの再利用を改善することができる。 しかし、入力テキストを意味のある自己完結ブロックに分割することの難しさと、性能低下のリスクを負う既存のブロック微調整手法の非効率性である。 ブロック微細チューニングよりも効率的な訓練フレームワークであるブロック蒸留を提案し, 凍結したフルアテンション教師モデルを用いて, ブロックアテンション学生を指導する。
  論文  参考訳（メタデータ） (2026-05-15T12:51:32Z)
• SVG-EAR: Parameter-Free Linear Compensation for Sparse Video Generation via Error-aware Routing [77.91660464664615]
  Diffusion Transformers (DiTs) はビデオ生成において主要なバックボーンとなっているが、その二次的注意コストは依然として大きなボトルネックとなっている。 本稿では,不足しているコントリビューションをトレーニングなしで回収できることを示す。 パラメータフリーな線形補償分岐であるSVG-EARを導入する。
  論文  参考訳（メタデータ） (2026-03-09T22:15:31Z)
• Sparser Block-Sparse Attention via Token Permutation [46.22204775916057]
  本稿では,ブロックレベルの空間性を高めるために,注目の置換特性を活用するプラグイン・アンド・プレイ方式であるPermuted Block-Sparse Attention (textbfPBS-Attn)を提案する。 PBS-Attnは、カスタムのpermuted-FlashAttentionカーネルをベースとして、長文プリフィルで最大2.75タイムのエンドツーエンドのスピードアップを実現しています。
  論文  参考訳（メタデータ） (2025-10-24T09:11:50Z)
• Block-Attention for Efficient Prefilling [6.916657784681611]
  本稿では,Retrieval-Augmented Generation(RAG)シナリオにおける推論遅延の増加とコストに対処するアテンションメカニズムであるBlock-attentionを紹介する。 各パスをブロックとして定義することで、ブロックアテンションは、これまで見てきたパスのKV状態の再利用を可能にします。 ブロックアテンションは、最初のトークン(TTFT)と浮動小数点演算(FLOP)の時間を極端に低くする。
  論文  参考訳（メタデータ） (2024-09-14T02:34:26Z)
• 1$\times$N Block Pattern for Network Sparsity [90.43191747596491]
  我々は,この制限を破るために,ブロック間隔パターン(ブロックプルーニング)を1時間で定義する新しい概念を提案する。 このパターンはMobileNet-V2の上位1の精度でフィルタプルーニングよりも約3.0%改善されている。 また、重み付けによるCortex-A7 CPUの56.04msの推論も得る。
  論文  参考訳（メタデータ） (2021-05-31T05:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。