論文の概要: Dispatch-Aware Ragged Attention for Pruned Vision Transformers

• arxiv url: http://arxiv.org/abs/2604.15408v1
• Date: Thu, 16 Apr 2026 15:48:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.591647
• Title: Dispatch-Aware Ragged Attention for Pruned Vision Transformers
• Title（参考訳）: Pruned Vision Transformers におけるDispatch-Aware Ragged Attention
• Authors: Saif Mahmoud, Ahmad Almasri,
• Abstract要約: 視覚変換器(ViT)のトケンプルーニング法は、不定形パッチをドロップすることで、注意FLOPの2次削減を約束する。 FlashAttention-2のvarlenやPyTorchのNestedTensor SDPAなど、最先端の可変長アテンションAPIでプルーンドシーケンスが実行されると、ウォールクロックアテンションレイテンシはスケールしない。 提案する軽量で双方向なTritonアテンションカーネルは,ディスパッチフロアがFlashAttention-2 varlenの約1.5倍低い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Token pruning methods for Vision Transformers (ViTs) promise quadratic reductions in attention FLOPs by dropping uninformative patches. Yet when pruned sequences are executed with state-of-the-art variable-length attention APIs -- including FlashAttention-2's varlen and PyTorch's NestedTensor SDPA-the wall-clock attention latency doesn't scale accordingly. We trace this to a dispatch-overhead bottleneck: at the short, post-pruning sequence lengths typical of ViTs (<=197 tokens), actual matrix arithmetic completes in single-digit microseconds while the host-side dispatch path consumes 60-90 us. We present a lightweight, bidirectional Triton attention kernel whose dispatch floor is 40 us roughly 1.5x lower than FlashAttention-2 varlen-allowing pruning savings to become more visible in wall-clock time. Integrated into a complete pack-attend-unpack pipeline, our system achieves up to 2.24x end-to-end throughput over padded PyTorch SDPA consistently across four pruning algorithms (Threshold-L2, DynamicViT, EViT, ATS), scales across DeiT-T/S/B, and maintains bit-exact classification predictions with <0.007 max absolute logit difference.
• Abstract（参考訳）: 視覚変換器(ViT)のトケンプルーニング法は、不定形パッチをドロップすることで、注意FLOPの2次削減を約束する。 しかし、FlashAttention-2のvarlenやPyTorchのNestedTensor SDPAなど、最先端の可変長アテンションAPIでプルーンドシーケンスが実行されると、ウォールクロックアテンションレイテンシはスケールしない。 ViTs (<=197 トークン) に典型的な短絡後シーケンス長では、実際の行列演算は1桁のマイクロ秒で完了し、ホスト側ディスパッチパスは 60-90 バイトを消費する。 本稿では, 壁面時間でより可視になるように, FlashAttention-2 varlen-allowing pruning saves より約1.5倍低いディスパッチフロアを有する軽量で双方向な Triton attention kernel を提案する。 完全パック・アット・アンパックパイプラインに統合されたシステムでは,4つのプルーニングアルゴリズム(Threshold-L2, DynamicViT, EViT, ATS)でPyTorch SDPAの最大2.24倍のスループットを実現し,DeiT-T/S/Bをまたいでスケールし,<0.007の絶対ロジット差でビットの正確な分類予測を行う。

関連論文リスト

• MPM: Mutual Pair Merging for Efficient Vision Transformers [2.3741226173924073]
  相互ペアマージング(Mutual Pair Merging、MPM)は、コサイン空間において互いに近接する隣り合うペアを形成する訓練不要なトークンアグリゲーションモジュールである。 ADE20Kでは、Raspberry Pi 5上でのViT-Tinyのイメージ毎のレイテンシを最大60%削減し、FlashAttention-2でH100上でのスループットを最大20%向上する。
  論文  参考訳（メタデータ） (2026-04-07T11:16:18Z)
• Accelerating Vision Transformers with Adaptive Patch Sizes [58.48800204993534]
  Vision Transformerは、入力画像をコンテンツに関係なく一様サイズのパッチに分割する。 適応パッチ変換器(APT)は,複数の異なるパッチサイズを同一画像内で使用することで,この問題に対処する。 APTはViT推論とトレーニングの大幅な高速化を実現し、ViT-Lでは40%、ViT-Hでは50%のスループット向上を実現している。
  論文  参考訳（メタデータ） (2025-10-20T20:37:11Z)
• Token Cropr: Faster ViTs for Quite a Few Tasks [12.97062850155708]
  本稿では,タスク関連性に基づいてトークンをエンドツーエンドに選択する方法を学習する補助予測ヘッドを用いたトークンプルーナを提案する。 画像分類,セマンティックセグメンテーション,オブジェクト検出,インスタンスセグメンテーションについて評価し,1.5～4倍の性能低下を示す。
  論文  参考訳（メタデータ） (2024-12-01T20:58:29Z)
• No Token Left Behind: Efficient Vision Transformer via Dynamic Token Idling [55.203866875294516]
  視覚変換器(ViT)はコンピュータビジョンタスクにおいて優れた性能を示した。 ViTの計算負担を軽減するために,様々なトークンプルーニング技術が導入されている。 性能と効率の優れたトレードオフを実現するための動的トークンアイドルベースのIdleViTを提案する。
  論文  参考訳（メタデータ） (2023-10-09T12:10:41Z)
• DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
  FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。 本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。 最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-10-05T03:47:57Z)
• CAIT: Triple-Win Compression towards High Accuracy, Fast Inference, and Favorable Transferability For ViTs [89.79139531731637]
  ビジョントランスフォーマー (ViT) は様々なビジョンタスクの最先端モデルとして登場した。 本稿では,高次アンダーライン精度,高速アンダーライン推論速度,下流タスクに対する好適なアンダーライン変換性を両立させたViTの合同アンダーライン圧縮法を提案する。
  論文  参考訳（メタデータ） (2023-09-27T16:12:07Z)
• FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness [80.3586155104237]
  FlashAttentionは、トランスフォーマーのためのIO対応の正確な注意アルゴリズムである。 これにより、GPU高帯域メモリ(HBM)とGPUオンチップ間のメモリ読み込み/書き込み数を削減できる。 FlashAttentionとブロックスパース FlashAttentionは、トランスフォーマーのコンテキストを長くすることを可能にする。
  論文  参考訳（メタデータ） (2022-05-27T17:53:09Z)
• Anti-Oversmoothing in Deep Vision Transformers via the Fourier Domain Analysis: From Theory to Practice [111.47461527901318]
  Vision Transformer (ViT) は先日,コンピュータビジョン問題における有望性を実証した。 ViTは観察された注意崩壊やパッチの均一性のために、深さが増加するにつれて急速に飽和する。 所望の低域制限を緩和する2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-03-09T23:55:24Z)
• Learned Token Pruning for Transformers [39.181816379061374]
  Learned Token Pruning ()メソッドは、データがトランスフォーマーの異なるレイヤを通過すると、冗長なトークンを減らす。 複数のGLUEタスクに対して,提案手法の性能を広範囲に検証する。 予備的な結果はTesla T4とIntel Haswellの1.4倍と1.9倍のスループット向上を示す。
  論文  参考訳（メタデータ） (2021-07-02T09:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。