論文の概要: UniForm: A Reuse Attention Mechanism Optimized for Efficient Vision Transformers on Edge Devices

• arxiv url: http://arxiv.org/abs/2412.02344v1
• Date: Tue, 03 Dec 2024 10:04:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:44:26.287266
• Title: UniForm: A Reuse Attention Mechanism Optimized for Efficient Vision Transformers on Edge Devices
• Title（参考訳）: UniForm:エッジデバイス上での高能率ビジョントランスのために最適化された再利用アテンションメカニズム
• Authors: Seul-Ki Yeom, Tae-Ho Kim,
• Abstract要約: トランスフォーマーベースのアーキテクチャは、さまざまなドメインで顕著な成功を収めていますが、エッジデバイスへのデプロイメントは依然として困難です。 本稿では,効率的なメモリアクセスと計算最適化に適した新しいReuse Attention機構を提案する。
• 参考スコア（独自算出の注目度）: 1.795366746592388
• License:
• Abstract: Transformer-based architectures have demonstrated remarkable success across various domains, but their deployment on edge devices remains challenging due to high memory and computational demands. In this paper, we introduce a novel Reuse Attention mechanism, tailored for efficient memory access and computational optimization, enabling seamless operation on resource-constrained platforms without compromising performance. Unlike traditional multi-head attention (MHA), which redundantly computes separate attention matrices for each head, Reuse Attention consolidates these computations into a shared attention matrix, significantly reducing memory overhead and computational complexity. Comprehensive experiments on ImageNet-1K and downstream tasks show that the proposed UniForm models leveraging Reuse Attention achieve state-of-the-art imagenet classification accuracy while outperforming existing attention mechanisms, such as Linear Attention and Flash Attention, in inference speed and memory scalability. Notably, UniForm-l achieves a 76.7% Top-1 accuracy on ImageNet-1K with 21.8ms inference time on edge devices like the Jetson AGX Orin, representing up to a 5x speedup over competing benchmark methods. These results demonstrate the versatility of Reuse Attention across high-performance GPUs and edge platforms, paving the way for broader real-time applications
• Abstract（参考訳）: トランスフォーマーベースのアーキテクチャは、様々な領域で顕著な成功を収めてきたが、高いメモリと計算要求のため、エッジデバイスへのデプロイメントは難しいままである。 本稿では,効率的なメモリアクセスと計算最適化に適した新しいReuse Attention機構を導入し,性能を損なうことなく,資源制約のあるプラットフォーム上でシームレスな操作を可能にする。 従来のマルチヘッドアテンション(MHA)とは異なり、Reuse Attentionはこれらの計算を共有アテンションマトリクスに統合し、メモリオーバーヘッドと計算複雑性を著しく低減する。 ImageNet-1Kと下流タスクに関する総合的な実験により、Reuse Attentionを利用したUniFormモデルは、推論速度とメモリスケーラビリティにおいて、リニアアテンションやフラッシュアテンションといった既存のアテンションメカニズムを上回りながら、最先端のイメージネット分類精度を実現することが示された。 特に、UniForm-lはImageNet-1Kで76.7%の精度を達成し、Jetson AGX Orinのようなエッジデバイスで21.8msの推論時間を実現した。 これらの結果は、高性能GPUとエッジプラットフォームにまたがる再利用注意の汎用性を示し、より広範なリアルタイムアプリケーションへの道を開いた。

関連論文リスト

• MAS-Attention: Memory-Aware Stream Processing for Attention Acceleration on Resource-Constrained Edge Devices [24.1144641404561]
  本稿では,メモリ制約付きエッジアクセラレータ上での正確なアテンション推定高速化手法を提案する。 エッジコンピューティングのシナリオではFLAT (State-of-the-art attention fusion Method) と比較して,2.75倍のスピードアップと54%のエネルギー消費削減が見られた。
  論文  参考訳（メタデータ） (2024-11-20T19:44:26Z)
• FAST: Factorizable Attention for Speeding up Transformers [1.3637227185793512]
  本稿では,スペーシフィケーションを伴わずに,注目行列の完全な表現を維持する線形スケールアテンション機構を提案する。 その結果、我々の注意機構は堅牢な性能を示し、自己注意が使用される多様なアプリケーションに対して大きな可能性を秘めていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T18:59:39Z)
• FLatten Transformer: Vision Transformer using Focused Linear Attention [80.61335173752146]
  線形注意(linear attention)は、その線形複雑性に対して、はるかに効率的な代替手段を提供する。 現在の線形アテンションアプローチは、大きなパフォーマンス劣化に悩まされるか、追加の計算オーバーヘッドを導入するかのいずれかである。 本研究では,高効率と表現性の両方を実現するために,新しいFocused Linear Attentionモジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:37:12Z)
• SwiftFormer: Efficient Additive Attention for Transformer-based Real-time Mobile Vision Applications [98.90623605283564]
  本稿では,2次行列乗算演算を線形要素乗算に効果的に置き換える,新しい効率的な付加的注意機構を提案する。 我々は"SwiftFormer"と呼ばれる一連のモデルを構築し、精度とモバイル推論速度の両面で最先端のパフォーマンスを達成する。 私たちの小さなバージョンでは、iPhone 14で8.5%のImageNet-1Kの精度が達成され、そのレイテンシは0.8msで、MobileViT-v2より2倍速くなります。
  論文  参考訳（メタデータ） (2023-03-27T17:59:58Z)
• Skip-Attention: Improving Vision Transformers by Paying Less Attention [55.47058516775423]
  視覚計算変換器(ViT)は、すべての層で高価な自己注意操作を使用する。 また,SkipAtを提案する。SkipAtは,先行層から自己注意を再利用して1層以上の注意を近似する手法である。 本稿では,画像の分類と自己教師型学習,ADE20Kのセマンティックセグメンテーション,SIDDの画像デノイング,DAVISのビデオデノナイズにおける手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-01-05T18:59:52Z)
• Faster Attention Is What You Need: A Fast Self-Attention Neural Network Backbone Architecture for the Edge via Double-Condensing Attention Condensers [71.40595908386477]
  本稿では,2重対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向対向 結果のバックボーン(AttendNeXtと呼ぶ)は、組み込みARMプロセッサ上で大幅に高い推論スループットを実現する。 これらの有望な結果は、さまざまな効率的なアーキテクチャ設計と自己アテンション機構の探索が、TinyMLアプリケーションのための興味深い新しいビルディングブロックにつながることを実証している。
  論文  参考訳（メタデータ） (2022-08-15T02:47:33Z)
• EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction [67.11722682878722]
  この研究は、新しいマルチスケール線形注意を持つ高解像度ビジョンモデルのファミリーであるEfficientViTを提示する。 マルチスケール線形注意は,グローバルな受容場とマルチスケール学習を実現する。 EfficientViTは従来の最先端モデルよりも優れたパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2022-05-29T20:07:23Z)
• Couplformer:Rethinking Vision Transformer with Coupling Attention Map [7.789667260916264]
  Transformerモデルはコンピュータビジョン領域において優れた性能を示した。 本稿では,2つのサブ行列にアテンションマップを分割する,Couplformerという新しいメモリエコノミーアテンション機構を提案する。 実験の結果、Couplformerは通常のTransformerに比べて28%のメモリ消費を著しく削減できることがわかった。
  論文  参考訳（メタデータ） (2021-12-10T10:05:35Z)
• Edge AI without Compromise: Efficient, Versatile and Accurate Neurocomputing in Resistive Random-Access Memory [0.0]
  我々は,RRAM CIMを用いた最初のマルチモーダルエッジAIチップであるNeuRRAMを提案する。 計算ビット精度の異なる先行技術よりも, 5 倍のエネルギー効率を 5 倍から 8 倍に向上することを示す。 この作業は、高度に効率的で再構成可能なエッジAIハードウェアプラットフォームを構築するための道を開くものだ。
  論文  参考訳（メタデータ） (2021-08-17T21:08:51Z)
• Attention that does not Explain Away [54.42960937271612]
  Transformerアーキテクチャに基づくモデルは、大規模なタスクに対して競合するアーキテクチャに基づくモデルよりも精度が高い。 Transformerのユニークな特徴は、任意の距離で自由な情報の流れを可能にする自己認識機構の普遍的な応用である。 本稿では,実装が簡単で,"説明的回避"効果を避けるための理論的保証を提供する,二重正規化アテンション方式を提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。