論文の概要: Flash Window Attention: speedup the attention computation for Swin Transformer

• arxiv url: http://arxiv.org/abs/2501.06480v2
• Date: Tue, 14 Jan 2025 04:16:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:29:26.497324
• Title: Flash Window Attention: speedup the attention computation for Swin Transformer
• Title（参考訳）: Flash Window Attention: Swin Transformerの注意計算を高速化する
• Authors: Zhendong Zhang,
• Abstract要約: Swin Transformerは、画像ピクセルの高解像度化に対応するために、ウィンドウアテンションを導入する。 このメカニズムは、画像をオーバーラップしないウィンドウに分割し、各ウィンドウ内での注意計算を制限する。 我々は、特にウィンドウアテンション用に調整された、Flash Window Attentionと呼ばれる最適化されたソリューションを提示します。
• 参考スコア（独自算出の注目度）: 2.5790021852425093
• License:
• Abstract: To address the high resolution of image pixels, the Swin Transformer introduces window attention. This mechanism divides an image into non-overlapping windows and restricts attention computation to within each window, significantly enhancing computational efficiency. To further optimize this process, one might consider replacing standard attention with flash attention, which has proven to be more efficient in language models. However, a direct substitution is ineffective. Flash attention is designed for long sequences, whereas window attention deals with shorter sequences but must handle numerous of them in parallel. In this report, we present an optimized solution called Flash Window Attention, tailored specifically for window attention. Flash Window Attention improves attention computation efficiency by up to 300% and enhances end-to-end runtime efficiency by up to 30%. Our code is available online.
• Abstract（参考訳）: 画像ピクセルの高解像度化に対処するため、Swin Transformerはウィンドウアテンションを導入している。 このメカニズムは、画像をオーバーラップしないウィンドウに分割し、各ウィンドウ内での注意計算を制限し、計算効率を大幅に向上させる。 このプロセスをさらに最適化するために、標準の注意をフラッシュアテンションに置き換えることを検討するかもしれない。 しかし、直接置換は効果がない。 フラッシュアテンションは長いシーケンス用に設計されているのに対して、ウィンドウアテンションは短いシーケンスを扱うが、それらの多くを並列に処理しなければならない。 本稿では,Flash Window Attentionという最適化されたソリューションについて述べる。 Flash Window Attentionは、注意計算効率を最大300%向上し、エンドツーエンドのランタイム効率を最大30%向上させる。 私たちのコードはオンラインで利用可能です。

関連論文リスト

• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)
• FLatten Transformer: Vision Transformer using Focused Linear Attention [80.61335173752146]
  線形注意(linear attention)は、その線形複雑性に対して、はるかに効率的な代替手段を提供する。 現在の線形アテンションアプローチは、大きなパフォーマンス劣化に悩まされるか、追加の計算オーバーヘッドを導入するかのいずれかである。 本研究では,高効率と表現性の両方を実現するために,新しいFocused Linear Attentionモジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:37:12Z)
• Swin-Free: Achieving Better Cross-Window Attention and Efficiency with Size-varying Window [6.158271948005819]
  ローカルウィンドウ間の相互接続を実現するために,ウィンドウを切り替える代わりに,ステージ毎にサイズが変化するウィンドウを適用するSwin-Freeを提案する。 このシンプルな設計変更により、Swin-Freeはより正確な推論でSwin Transformerよりも高速に動作する。
  論文  参考訳（メタデータ） (2023-06-23T20:19:58Z)
• Faster Causal Attention Over Large Sequences Through Sparse Flash Attention [45.18552512844457]
  FlashAttentionを拡張して、大量の注目空間パターンに対応します。 変換言語モデルのトレーニング速度を、それぞれ$2.0times$と$3.3times$で、それぞれ$8k$と$16k$のシーケンスで増加します。
  論文  参考訳（メタデータ） (2023-06-01T21:33:59Z)
• SparseViT: Revisiting Activation Sparsity for Efficient High-Resolution Vision Transformer [42.440822037774645]
  我々は、最近のウィンドウベース視覚変換器(ViT)のアクティベーション空間を再考するSparseViTを紹介する。 SparseViTは、モノクロ3Dオブジェクト検出、2Dインスタンスセグメンテーション、および2Dセマンティックセグメンテーションにおいて、密度の高い1.5x、1.4x、1.3xのスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-03-30T17:59:58Z)
• SwiftFormer: Efficient Additive Attention for Transformer-based Real-time Mobile Vision Applications [98.90623605283564]
  本稿では,2次行列乗算演算を線形要素乗算に効果的に置き換える,新しい効率的な付加的注意機構を提案する。 我々は"SwiftFormer"と呼ばれる一連のモデルを構築し、精度とモバイル推論速度の両面で最先端のパフォーマンスを達成する。 私たちの小さなバージョンでは、iPhone 14で8.5%のImageNet-1Kの精度が達成され、そのレイテンシは0.8msで、MobileViT-v2より2倍速くなります。
  論文  参考訳（メタデータ） (2023-03-27T17:59:58Z)
• Skip-Attention: Improving Vision Transformers by Paying Less Attention [55.47058516775423]
  視覚計算変換器(ViT)は、すべての層で高価な自己注意操作を使用する。 また,SkipAtを提案する。SkipAtは,先行層から自己注意を再利用して1層以上の注意を近似する手法である。 本稿では,画像の分類と自己教師型学習,ADE20Kのセマンティックセグメンテーション,SIDDの画像デノイング,DAVISのビデオデノナイズにおける手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-01-05T18:59:52Z)
• Transformer Tracking with Cyclic Shifting Window Attention [17.73494432795304]
  視覚オブジェクト追跡のためのマルチスケール巡回シフトウィンドウアテンションを備えた新しいトランスフォーマーアーキテクチャを提案する。 本稿では,本手法の優れた性能を示すとともに,新しい最先端記録を5つの挑戦的データセットに設定する。
  論文  参考訳（メタデータ） (2022-05-08T07:46:34Z)
• BOAT: Bilateral Local Attention Vision Transformer [70.32810772368151]
  ViTやDeiTといった初期のビジョントランスフォーマーは、パッチの数が多ければ計算コストがかかるグローバルな自己アテンションを採用している。 最近のビジョントランスフォーマーでは、ローカルウィンドウ内で自己アテンションが計算されるローカル自己アテンション機構を採用している。 本稿では,特徴空間の局所的注意と画像空間の局所的注意とを融合した両眼的視線変換器(BOAT)を提案する。
  論文  参考訳（メタデータ） (2022-01-31T07:09:50Z)
• Local-to-Global Self-Attention in Vision Transformers [130.0369761612812]
  トランスフォーマーはコンピュータビジョンタスクに大きな可能性を示した。 最近のTransformerモデルは階層設計を採用しており、セルフアテンションはローカルウィンドウ内でのみ計算される。 この設計は効率を大幅に改善するが、早い段階ではグローバルな特徴推論が欠如している。 本研究では,トランスフォーマーのマルチパス構造を設計し,各ステージにおける複数の粒度での局所的・言語的推論を可能にする。
  論文  参考訳（メタデータ） (2021-07-10T02:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。