論文の概要: EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention

• arxiv url: http://arxiv.org/abs/2305.07027v1
• Date: Thu, 11 May 2023 17:59:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 13:37:42.402174
• Title: EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention
• Title（参考訳）: EfficientViT: カスケードグループ注意によるメモリ効率の高い視覚変換器
• Authors: Xinyu Liu, Houwen Peng, Ningxin Zheng, Yuqing Yang, Han Hu, Yixuan Yuan
• Abstract要約: 我々はEfficientViTという高速視覚変換器群を提案する。 既存のトランスモデルの速度は、一般にメモリ非効率な演算によって制限される。 この問題に対処するため,異なるスプリットのアテンションヘッドを刺激するグループアテンションモジュールを提案する。
• 参考スコア（独自算出の注目度）: 44.148667664413004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision transformers have shown great success due to their high model capabilities. However, their remarkable performance is accompanied by heavy computation costs, which makes them unsuitable for real-time applications. In this paper, we propose a family of high-speed vision transformers named EfficientViT. We find that the speed of existing transformer models is commonly bounded by memory inefficient operations, especially the tensor reshaping and element-wise functions in MHSA. Therefore, we design a new building block with a sandwich layout, i.e., using a single memory-bound MHSA between efficient FFN layers, which improves memory efficiency while enhancing channel communication. Moreover, we discover that the attention maps share high similarities across heads, leading to computational redundancy. To address this, we present a cascaded group attention module feeding attention heads with different splits of the full feature, which not only saves computation cost but also improves attention diversity. Comprehensive experiments demonstrate EfficientViT outperforms existing efficient models, striking a good trade-off between speed and accuracy. For instance, our EfficientViT-M5 surpasses MobileNetV3-Large by 1.9% in accuracy, while getting 40.4% and 45.2% higher throughput on Nvidia V100 GPU and Intel Xeon CPU, respectively. Compared to the recent efficient model MobileViT-XXS, EfficientViT-M2 achieves 1.8% superior accuracy, while running 5.8x/3.7x faster on the GPU/CPU, and 7.4x faster when converted to ONNX format. Code and models are available at https://github.com/microsoft/Cream/tree/main/EfficientViT.
• Abstract（参考訳）: ビジョントランスフォーマーは、高いモデル能力で大きな成功を収めている。 しかし、その顕著な性能には計算コストが伴うため、リアルタイムアプリケーションには適さない。 本稿では, efficientvit という高速視覚トランスフォーマのファミリーを提案する。 既存の変圧器モデルの速度は、メモリ非効率な演算、特にMHSAのテンソル整形と要素ワイド関数によって制限される。 そこで我々は,効率的なffn層間における単一のメモリバウンドmhsaを用いたサンドイッチレイアウトによる新しいビルディングブロックの設計を行い,チャネル通信を向上しつつメモリ効率を向上させる。 さらに,注意マップは頭部間の類似度が高く,計算冗長性が高まることがわかった。 そこで,本研究では,グループ注意モジュールを付加して,特徴の分割に注意を向け,計算コストの削減だけでなく,注意の多様性の向上も図っている。 総合的な実験では、EfficientViTが既存の効率的なモデルより優れており、スピードと精度のトレードオフが良い。 例えば、当社のEfficientViT-M5はMobileNetV3-Largeを1.9%上回り、Nvidia V100 GPUとIntel Xeon CPUでそれぞれ40.4%と45.2%のスループットを実現しています。 最近の効率的なモデルであるMobileViT-XXSと比較して、EfficientViT-M2はGPU/CPUで5.8x/3.7倍、ONNXフォーマットで7.4倍の精度を実現している。 コードとモデルはhttps://github.com/microsoft/Cream/tree/main/EfficientViT.comで入手できる。

関連論文リスト

• Efficient Modulation for Vision Networks [122.1051910402034]
  我々は、効率的なビジョンネットワークのための新しい設計である効率的な変調を提案する。 変調機構が特に効率的なネットワークに適していることを実証する。 私たちのネットワークは、精度と効率のトレードオフをうまく達成できます。
  論文  参考訳（メタデータ） (2024-03-29T03:48:35Z)
• ParFormer: A Vision Transformer with Parallel Mixer and Sparse Channel Attention Patch Embedding [9.144813021145039]
  本稿では、並列ミキサーとスパースチャネル注意パッチ埋め込み(SCAPE)を組み込んだ視覚変換器であるParFormerを紹介する。 ParFormerは、畳み込み機構とアテンション機構を組み合わせることで、特徴抽出を改善する。 エッジデバイスのデプロイメントでは、ParFormer-Tのスループットは278.1イメージ/秒で、EdgeNeXt-Sよりも1.38ドル高い。 より大型のParFormer-Lは83.5%のTop-1精度に達し、精度と効率のバランスの取れたトレードオフを提供する。
  論文  参考訳（メタデータ） (2024-03-22T07:32:21Z)
• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)
• SHViT: Single-Head Vision Transformer with Memory Efficient Macro Design [5.962184741057505]
  本稿では,メモリ効率のよい設計レベルでの計算冗長性に対処することを目的とする。 より大きなストライドのパッチフィクスを使用するとメモリアクセスコストが削減されるだけでなく、競争性能も向上することがわかった。 SHViTは、最先端の速度精度トレードオフを得る単一ヘッドビジョン変換器である。
  論文  参考訳（メタデータ） (2024-01-29T09:12:23Z)
• FMViT: A multiple-frequency mixing Vision Transformer [17.609263967586926]
  FMViT という名前の効率的なハイブリッド ViT アーキテクチャを提案する。 このアプローチは、高周波の特徴と低周波の特徴を様々な周波数でブレンドし、ローカル情報とグローバル情報の両方を効果的に捉えることができる。 我々は、FMViTが既存のCNN、ViT、CNNTransformerのハイブリッドアーキテクチャを、様々なビジョンタスクのレイテンシ/精度トレードオフの観点から上回っていることを実証した。
  論文  参考訳（メタデータ） (2023-11-09T19:33:50Z)
• SwiftFormer: Efficient Additive Attention for Transformer-based Real-time Mobile Vision Applications [98.90623605283564]
  本稿では,2次行列乗算演算を線形要素乗算に効果的に置き換える,新しい効率的な付加的注意機構を提案する。 我々は"SwiftFormer"と呼ばれる一連のモデルを構築し、精度とモバイル推論速度の両面で最先端のパフォーマンスを達成する。 私たちの小さなバージョンでは、iPhone 14で8.5%のImageNet-1Kの精度が達成され、そのレイテンシは0.8msで、MobileViT-v2より2倍速くなります。
  論文  参考訳（メタデータ） (2023-03-27T17:59:58Z)
• FastViT: A Fast Hybrid Vision Transformer using Structural Reparameterization [14.707312504365376]
  我々は、最先端のレイテンシ-精度トレードオフを得るハイブリッドビジョントランスフォーマーアーキテクチャであるFastViTを紹介する。 我々は,当社のモデルがCMTの3.5倍,EfficientNetの4.9倍,モバイルデバイスのConvNeXtの1.9倍で,ImageNetデータセットと同じ精度であることを示す。
  論文  参考訳（メタデータ） (2023-03-24T17:58:32Z)
• Rethinking Vision Transformers for MobileNet Size and Speed [58.01406896628446]
  本稿では,低レイテンシでパラメータ効率の高い新しいスーパーネットを提案する。 また,変圧器モデルに対して,よりきめ細かな共同探索戦略を導入する。 この研究は、MobileNetレベルのサイズと速度であっても、適切に設計され、最適化されたビジョントランスフォーマーがハイパフォーマンスを実現することを実証している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:12Z)
• Super Vision Transformer [131.4777773281238]
  ImageNetの実験結果から, 我々のSuperViTは, 性能の向上とともに, ViTモデルの計算コストを大幅に削減できることが示された。 我々のSuperViTは、効率的な視覚変換器に関する既存の研究よりも優れています。
  論文  参考訳（メタデータ） (2022-05-23T15:42:12Z)
• Learned Queries for Efficient Local Attention [11.123272845092611]
  視覚変換器の自己保持機構は、高レイテンシと非効率なメモリ利用に悩まされる。 本稿では,クエリ・アンド・アテンション(QnA)と呼ばれる,新たなシフト不変なローカルアテンション層を提案する。 我々は、最先端モデルと同等の精度を達成しつつ、スピードとメモリの複雑さの改善を示す。
  論文  参考訳（メタデータ） (2021-12-21T18:52:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。