Fugu-MT 論文翻訳(概要): PEANO-ViT: Power-Efficient Approximations of Non-Linearities in Vision Transformers

論文の概要: PEANO-ViT: Power-Efficient Approximations of Non-Linearities in Vision Transformers

arxiv url: http://arxiv.org/abs/2406.14854v2
Date: Fri, 16 Aug 2024 06:47:53 GMT
ステータス: 処理完了
システム内更新日: 2024-08-19 17:59:12.128964
Title: PEANO-ViT: Power-Efficient Approximations of Non-Linearities in Vision Transformers
Title（参考訳）: PEANO-ViT:視覚変換器における非線形の高効率近似
Authors: Mohammad Erfan Sadeghi, Arash Fayyazi, Seyedarmin Azizi, Massoud Pedram,
Abstract要約: Vision Transformers (ViTs) は、FPGA(Field-Programmable Gate Arrays) 用に設計されている。 ViTの非線形関数は、複雑な数学的操作のため、効率的なハードウェア実装に重大な障害をもたらす。 PEANO-ViTはレイヤ正規化層の実装を合理化するための新しいアプローチを提供する。
参考スコア（独自算出の注目度）: 4.523939613157408
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The deployment of Vision Transformers (ViTs) on hardware platforms, specially Field-Programmable Gate Arrays (FPGAs), presents many challenges, which are mainly due to the substantial computational and power requirements of their non-linear functions, notably layer normalization, softmax, and Gaussian Error Linear Unit (GELU). These critical functions pose significant obstacles to efficient hardware implementation due to their complex mathematical operations and the inherent resource count and architectural limitations of FPGAs. PEANO-ViT offers a novel approach to streamlining the implementation of the layer normalization layer by introducing a division-free technique that simultaneously approximates the division and square root function. Additionally, PEANO-ViT provides a multi-scale division strategy to eliminate division operations in the softmax layer, aided by a Pade-based approximation for the exponential function. Finally, PEANO-ViT introduces a piece-wise linear approximation for the GELU function, carefully designed to bypass the computationally intensive operations associated with GELU. In our comprehensive evaluations, PEANO-ViT exhibits minimal accuracy degradation (<= 0.5% for DeiT-B) while significantly enhancing power efficiency, achieving improvements of 1.91x, 1.39x, 8.01x for layer normalization, softmax, and GELU, respectively. This improvement is achieved through substantial reductions in DSP, LUT, and register counts for these non-linear operations. Consequently, PEANO-ViT enables efficient deployment of Vision Transformers on resource- and power-constrained FPGA platforms.
Abstract（参考訳）: ビジョントランスフォーマー(ViT)のハードウェアプラットフォームへの展開、特にFPGA(Field-Programmable Gate Arrays)は、主に非線型関数(特に層正規化、ソフトマックス、ガウス誤差線形ユニット(GELU))の計算と電力要求のために多くの課題を提起している。これらの重要な機能は、複雑な数学的操作と、FPGAの固有のリソース数とアーキテクチャ上の制約により、効率的なハードウェア実装に重大な障害をもたらす。 PEANO-ViTは、分割と平方根関数を同時に近似する分割自由手法を導入することにより、層正規化層の実装を合理化するための新しいアプローチを提供する。さらに、PEANO-ViTは、指数関数のPadeに基づく近似により、ソフトマックス層の分割操作を除去するマルチスケール分割戦略を提供する。最後に、PEANO-ViTはGELU関数の分数次線形近似を導入し、GELUに付随する計算集約操作をバイパスするように慎重に設計した。総合評価では, PEANO-ViTは最小の精度劣化(DeiT-Bでは0.5%)を示し, 電力効率を著しく向上させ, それぞれ1.91x, 1.39x, 8.01xの層正規化, ソフトマックス, GELUの改善を実現した。この改善は、DSP、LUT、レジスタカウントの大幅な削減によって達成される。このため、PEANO-ViTはリソースと電力制約のあるFPGAプラットフォームにビジョントランスフォーマーを効率的に配置できる。

関連論文リスト

CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction [77.8576094863446]
本稿では,新しいdetextbfCoupled dutextbfAl-interactive lineatextbfR atttextbfEntion (CARE) 機構を提案する。まず,非対称な特徴分離戦略を提案し,非対称的に学習プロセスを局所帰納バイアスと長距離依存に分解する。分離学習方式を採用し,特徴間の相補性を完全に活用することにより,高い効率性と精度を両立させることができる。
論文参考訳（メタデータ） (2024-11-25T07:56:13Z)
HG-PIPE: Vision Transformer Acceleration with Hybrid-Grained Pipeline [13.849471252921004]
フィールドプログラマブルゲートアレイ(FPGA)を用いたビジョントランスフォーマー(ViT)アクセラレーションは有望だが難しい。 HG-PIPEは、高スループットかつ低レイテンシなViT処理のためのパイプラインFPGAアクセラレータである。 VCK190 FPGAでは、HG-PIPEは単一のデバイス上でエンドツーエンドのViTアクセラレーションを実現し、V100 GPUの2.81倍の7118イメージ/sを達成する。
論文参考訳（メタデータ） (2024-07-25T08:47:40Z)
AdaLog: Post-Training Quantization for Vision Transformers with Adaptive Logarithm Quantizer [54.713778961605115]
Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて最も普及しているバックボーンネットワークの1つである。本稿では,AdaLog(Adaptive Logarithm AdaLog)量子化器を提案する。
論文参考訳（メタデータ） (2024-07-17T18:38:48Z)
CHOSEN: Compilation to Hardware Optimization Stack for Efficient Vision Transformer Inference [4.523939613157408]
ビジョントランスフォーマー(ViT)は、コンピュータビジョンへの機械学習アプローチにおける画期的なシフトである。本稿では,これらの課題に対処するソフトウェアハードウェアの共同設計フレームワークであるCHOSENを紹介し,FPGA上にViTをデプロイするための自動フレームワークを提供する。 ChoSENはDeiT-SとDeiT-Bモデルのスループットを1.5倍と1.42倍改善した。
論文参考訳（メタデータ） (2024-07-17T16:56:06Z)
SWAT: Scalable and Efficient Window Attention-based Transformers Acceleration on FPGAs [3.302913401404089]
スライディングウィンドウベースの静的スパースアテンションは、入力トークンのアテンションスコープを制限することで問題を緩和する。本稿では,データフローを意識したFPGAベースのアクセラレーション設計であるSWATを提案する。
論文参考訳（メタデータ） (2024-05-27T10:25:08Z)
On the Long Range Abilities of Transformers [69.3021852589771]
トランスアーキテクチャの変更を最小限に抑えることで,Long Range Arenaベンチマークの性能を大幅に向上させることができることを示す。長距離タスクの2つの鍵となる原理(すなわち、滑らか性に対する帰納的バイアス)と局所性(すなわち、局所性)である。以下に示すように、これらのアイデアを注意機構に組み込むことで、追加の計算量や追加のトレーニング可能なパラメータなしで結果を改善することができる。
論文参考訳（メタデータ） (2023-11-28T09:21:48Z)
FLatten Transformer: Vision Transformer using Focused Linear Attention [80.61335173752146]
線形注意(linear attention)は、その線形複雑性に対して、はるかに効率的な代替手段を提供する。現在の線形アテンションアプローチは、大きなパフォーマンス劣化に悩まされるか、追加の計算オーバーヘッドを導入するかのいずれかである。本研究では,高効率と表現性の両方を実現するために,新しいFocused Linear Attentionモジュールを提案する。
論文参考訳（メタデータ） (2023-08-01T10:37:12Z)
HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
論文参考訳（メタデータ） (2022-11-30T05:31:45Z)
ViTALiTy: Unifying Low-rank and Sparse Approximation for Vision Transformer Acceleration with a Linear Taylor Attention [23.874485033096917]
Vision Transformer (ViT)は、様々なコンピュータビジョンアプリケーションのための畳み込みニューラルネットワークの競合代替として登場した。そこで本研究では,VitaliTy という,VT の推論効率向上のためのハードウェア設計フレームワークを提案する。 ViTALiTyは、ViTにおける注目の低ランクとスパースの両方のコンポーネントを統合する。
論文参考訳（メタデータ） (2022-11-09T18:58:21Z)
NullaNet Tiny: Ultra-low-latency DNN Inference Through Fixed-function Combinational Logic [4.119948826527649]
フィールドプログラマブルゲートアレイ(FPGA)ベースのアクセラレータは、グラフィックス処理ユニット/中央処理ユニットベースのプラットフォームを置き換える深刻な競争相手として注目を集めています。本稿では,資源とエネルギー効率,超低遅延FPGAベースニューラルネットワークアクセラレータ構築のためのフレームワークであるNullaNet Tinyを提案する。
論文参考訳（メタデータ） (2021-04-07T00:16:39Z)
EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware Multi-Task NLP Inference [82.1584439276834]
BERTのようなトランスフォーマーベースの言語モデルでは、自然言語処理(NLP)タスクの精度が大幅に向上する。 We present EdgeBERT, a in-deepth algorithm- hardware co-design for latency-aware energy optimization for multi-task NLP。
論文参考訳（メタデータ） (2020-11-28T19:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。