論文の概要: Training-free sparse attention based on cumulative energy filtering

• arxiv url: http://arxiv.org/abs/2606.16317v1
• Date: Mon, 15 Jun 2026 07:26:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 18:36:05.03559
• Title: Training-free sparse attention based on cumulative energy filtering
• Title（参考訳）: 累積エネルギーフィルタリングに基づく無訓練スパース注意
• Authors: Chunlu Li, Yixuan Pan, Bai Du, Zhenyuan Chen, Yanzhao Li, Hui Dong, Hui Wang, Zhiqiang Zou,
• Abstract要約: スパースアテンションは、残りの部分をスキップしながら重要なトークンのみを演算することで、ビデオ生成のための拡散変換器(DiT)を加速させる。 トークンフィルタリングを2ゴール最適化問題として定式化し,空間幅の最大化と精度劣化の最小化を行う。 私たちのアルゴリズムはFlash Attention(FA)と深く統合されており、追加のマスキングオーバーヘッドを不要にしています。
• 参考スコア（独自算出の注目度）: 5.794925677954963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse attention accelerates Diffusion Transformers (DiTs) for video generation by computing only the important tokens while skipping the rest. The token selection strategy is key to balancing sparsity and accuracy. We formulate the token filtering process as a dual-goal optimization problem: maximizing sparsity and minimizing accuracy degradation. Existing algorithms cannot fulfill both objectives simultaneously. For example, Top-p only considers the accuracy constraint, while Top-k maintains a fixed computational budget but loosens the accuracy constraint. This paper demonstrates that maintaining a fixed recall rate is sufficient for ensuring accuracy, whereas a fixed threshold is suboptimal for reducing computational cost. Therefore, we propose a dynamic thresholding scheme to improve sparsity while maintaining the same level of accuracy. Furthermore, our algorithm is deeply integrated with Flash Attention (FA), eliminating the need for any additional masking computation overhead. Experimental results on Wan 2.2 validate that, compared to the BLASST algorithm which is also integrated with FA, our dynamic thresholding strategy enhances sparsity from 61.42\% to 82\% with a VBench metric drop of less than 5\%. This results in an approximate 15\% in attention computation and a $1.61\times$ increase in computational efficiency, which is 1.18x higher than that of BLASST.
• Abstract（参考訳）: スパースアテンションは、残りの部分をスキップしながら重要なトークンのみを演算することで、ビデオ生成のための拡散変換器(DiT)を加速させる。 トークン選択戦略は、スパーシリティと精度のバランスをとるための鍵となる。 トークンフィルタリングを2ゴール最適化問題として定式化し,空間幅の最大化と精度劣化の最小化を行う。 既存のアルゴリズムは両方の目的を同時に満たすことができない。 例えば、Top-pは精度制約のみを考慮し、Top-kは一定の計算予算を維持しているが、精度制約を緩める。 本稿では,固定リコール率の維持が精度の確保に十分であるのに対して,固定しきい値が計算コストの削減に最適であることを示す。 そこで本稿では,同じ精度を維持しつつ,空間性を改善するための動的しきい値設定手法を提案する。 さらに,本アルゴリズムはFlash Attention (FA) と深く統合されており,追加のマスキング処理のオーバーヘッドをなくすことができる。 Wan 2.2の実験結果から, FAと一体化したBLASSTアルゴリズムと比較して, VBenchメートル法で61.42\%から82\%に間隔を拡大し, VBenchメートル法では5\%未満の値が得られた。 これにより、注意計算の約15\%、BLASSTの1.18倍高い計算効率の1.61\times$上昇が得られる。

関連論文リスト

• Scaling Attention via Feature Sparsity [50.64995497733461]
  超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。 本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。 GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
  論文  参考訳（メタデータ） (2026-03-17T08:41:50Z)
• TokenSqueeze: Performance-Preserving Compression for Reasoning LLMs [57.217593337454026]
  TokenSqueezeは、パフォーマンスを保ち、自己生成データにのみ依存しながら推論パスを凝縮する新しいLong2Shortメソッドである。 TokenSqueeze は MATH500 ベンチマークの精度を維持しながらトークンの使用量を削減できることを示す。
  論文  参考訳（メタデータ） (2025-11-17T10:38:56Z)
• Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Permutation [84.00166854547241]
  拡散変換器(DiT)はビデオ生成に必須であるが,注意の2次複雑さにより遅延が著しく低下する。 SVG2は,識別精度を最大化し,無駄を最小化する学習自由フレームワークである。
  論文  参考訳（メタデータ） (2025-05-24T21:30:29Z)
• Sparsity Forcing: Reinforcing Token Sparsity of MLLMs [40.93786579652003]
  マルチモーダル大規模言語モデル(MLLM)におけるトークンの分散性を,単純なRLベースのポストトレーニングフレームワークであるtextitSparsity Forcing を用いて明示的に強化する。 本手法では,複数ロールアウトを異なるトークン予算で実行し,効率(トーケン還元率)と性能(回答正当性)の両方を共同報酬として定式化することにより,効率・正確性トレードオフを探索する。
  論文  参考訳（メタデータ） (2025-04-23T01:45:55Z)
• Progressive Sparse Attention: Algorithm and System Co-design for Efficient Attention in LLM Serving [10.835583587146274]
  本稿では,$underlineP$rogressive $underlineS$parse $underlineA$ttentionメカニズムを提案する。 アルゴリズムの革新とシステムの共同設計を統合し、大規模言語モデルにおいて高い推論精度と効率性の両方を達成する。 実験によると、PSAは注意計算のKVキャッシュ使用量を2.4$times$と8.8$times$に削減し、エンドツーエンドのサービススループットを1.4$times$と2.0$times$に向上する。
  論文  参考訳（メタデータ） (2025-03-01T07:56:42Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Token Pooling in Vision Transformers [37.11990688046186]
  視覚変換器では、自己注意は主要なボトルネックではなく、例えば、計算の80%以上が完全に接続された層に費やされている。 本稿では,画像と中間トークン表現の冗長性を効果的に活用するトークンダウンサンプリング手法Token Poolingを提案する。 実験の結果,Token Poolingは最先端のダウンサンプリングに対する費用対精度のトレードオフを大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2021-10-08T02:22:50Z)
• n-hot: Efficient bit-level sparsity for powers-of-two neural network quantization [0.0]
  パワーオブツー(PoT)量子化は、リソース制約ハードウェア上でのディープニューラルネットワークのビット演算数を減少させる。 PoT量子化は、表現能力が限られているため、深刻な精度低下を引き起こす。 メモリ効率の高い方法で精度とコストを両立した効率的なPoT量子化方式を提案する。
  論文  参考訳（メタデータ） (2021-03-22T10:13:12Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。