論文の概要: Token2Tile: Token-Wise Sparse Attention with Tile Execution through a Low-Rank Space for Video DiTs
- arxiv url: http://arxiv.org/abs/2611.17930v1
- Date: Fri, 13 Nov 2026 09:09:46 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:28:46.264604
- Title: Token2Tile: Token-Wise Sparse Attention with Tile Execution through a Low-Rank Space for Video DiTs
- Title(参考訳): Token2Tile:Tile ExecutionによるビデオDiTのための低域空間におけるToken-Wiseスパース注意
- Abstract要約: TokenTile2はトレーニング不要のスパースアテンション演算子で、クエリ毎のスコアリングとクエリ毎の残差とタイル実行を組み合わせたものだ。
クエリやキーから直接計算されるオンラインの低ランクスペースは、クラスタリング、スコアリング、残差近似を効率的にする。
- 参考スコア(独自算出の注目度): 2.99465560671224
- License:
- Abstract: Attention is essential for modeling spatio-temporal dependencies in video diffusion transformers, but its quadratic cost makes it a major inference bottleneck. Its high sparsity offers an opportunity to accelerate generation by focusing computation on important interactions. However, accuracy and execution favor different granularities: each query attends to its own key tokens, whereas GPU kernels work on tiles. We present Token2Tile, a training-free sparse attention operator that combines per-query scoring and a per-query residual with tile execution. An online low-rank space, computed directly from queries and keys to preserve attention logits, makes clustering, scoring, and residual approximation efficient. Token2Tile unites query-specific selections to allocate exact work across query clusters, then packs the selected keys into GPU tiles. On MiniMax-H3 and Wan2.1-14B, Token2Tile delivers 1.48-1.54x end-to-end speedup over dense FlashAttention-3 with VBench scores within 0.5 points of dense. At comparable speeds on H3, it improves PSNR over SOL and SubBlock by 5.5-6.8 dB; on Wan, it exceeds SOL by 4.6-4.8 dB while running faster.
- Abstract(参考訳): ビデオ拡散変換器における時空間依存性のモデル化には注意が必要であるが、その2次コストが大きな推論ボトルネックとなる。
高空間性は、重要な相互作用に計算を集中させることで、生成を加速する機会を提供する。
しかし、精度と実行は異なる粒度を好んでおり、各クエリはそれぞれのキートークンに付随するが、GPUカーネルはタイルで動作する。
トレーニング不要なスパースアテンション演算子であるToken2Tileについて述べる。
オンラインの低ランク空間は、クエリやキーから直接計算して注意ログを保存し、クラスタリング、スコアリング、残差近似を効率的にする。
Token2Tileはクエリ固有の選択を単位として、クエリクラスタ間で正確な作業を割り当て、選択したキーをGPUタイルにパックする。
MiniMax-H3とWan2.1-14Bでは、Token2Tileは高密度FlashAttention-3上で1.48-1.54xのエンドツーエンドのスピードアップを提供する。
H3では同等の速度でPSNRをSOLとSubBlockで5.5-6.8dB、WanではSOLで4.6-4.8dB、高速で走る。
関連論文リスト
- Coarse Semantic Blocks for Efficient Training-Free Sparse Attention [4.35316501394574]
本稿では,プリフィルとデコードの両方を高速化するために,プロンプト固有のキーインデックスを構築する訓練不要なスパースアテンション手法を提案する。
このメソッドはキーを大きなセマンティックブロックに集約し、非連続的な位置からトークンをグループ化する。
NVIDIA H200上での2つのハイブリッドLCM, Qwen3.5-4Bと35B-A3Bを評価した。
論文 参考訳(メタデータ) (2026-11-03T04:46:30Z) - CISA: Retrofitting Dense Attention Models with Chunk-Indexed Sparse Attention [12.099024313193047]
Chunk-Indexed Sparse Attention (CISA) は、勾配更新なしで事前訓練された集中注意モデルに適合する。
CISAは、既存のキーのコンパクトなサマリーを使用して、固定サイズのKVチャンクを選択する。
NVIDIA Nemotron 3 Nano and Ultra および Inkling-Small を用いた CISA の評価を行った。
論文 参考訳(メタデータ) (2026-11-02T14:25:48Z) - PQ-HSA: Reusing Product-Quantized Scores for Hybrid Sparse-Approximate Attention [31.05085292228752]
PQ-HSAは選択したトークンに元のキーと値で出席する。
Llama-3.1-8BやQwen3-30B-A3BのQuestやSnapKVよりも正確である。
論文 参考訳(メタデータ) (2026-09-27T16:47:14Z) - VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。
V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。
ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
論文 参考訳(メタデータ) (2026-09-14T16:17:35Z) - Token Radius Attention for Efficient Video Generation [14.657468653848627]
本稿では,問合せエントロピーを分析トークン予算にマッピングし,時間的に減衰した半径に変換する学習自由フレームワークを提案する。
7基のWan2.1、Wan2.2、HunyuanVideo T2V/I2V構成で、TRAは注意相互作用の9-19%しか保持せず、競争力のある生成品質で1.56x-2.05xのスピードアップを実現している。
論文 参考訳(メタデータ) (2026-08-03T17:05:15Z) - LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models [49.93891888238178]
ブロックワイド拡散言語モデル(DLM)は任意の順序で複数のトークンを生成し、自動回帰復号パイプラインに代わる有望な代替手段を提供する。
異なるクエリが異なるプレフィックス位置を選択する場合、KVインフレーション問題により、DLM上では裸のスパースアテンションが失敗する。
キャッシュされたプレフィックスアテンション結果を安定したトークンに再利用し、アクティブトークンのみにスパースアテンションを適用するLOSA(Locality-aware Sparse Attention)を提案する。
論文 参考訳(メタデータ) (2026-04-13T20:53:51Z) - Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Permutation [84.00166854547241]
拡散変換器(DiT)はビデオ生成に必須であるが,注意の2次複雑さにより遅延が著しく低下する。
SVG2は,識別精度を最大化し,無駄を最小化する学習自由フレームワークである。
論文 参考訳(メタデータ) (2025-05-24T21:30:29Z) - VSA: Faster Video Diffusion with Trainable Sparse Attention [38.37291040904089]
ビデオ拡散トランス (DiTs) のスケーリングは、注意質量の大部分が少数の位置に集中しているにもかかわらず、2次元の注意によって制限される。
私たちはこの観察を、トレーニング可能なハードウェア効率の良いスパースアテンションであるVSAに変換し、Emphbothのトレーニングと推論の完全なアテンションを置き換える。
論文 参考訳(メタデータ) (2025-05-19T17:30:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。