論文の概要: Reusing Softmax Hardware Unit for GELU Computation in Transformers

• arxiv url: http://arxiv.org/abs/2402.10118v2
• Date: Fri, 16 Feb 2024 08:52:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 12:42:22.811340
• Title: Reusing Softmax Hardware Unit for GELU Computation in Transformers
• Title（参考訳）: 変圧器のGELU計算用ソフトマックスハードウェアユニットの再利用
• Authors: Christodoulos Peltekis, Kosmas Alexandridis, Giorgos Dimitrakopoulos
• Abstract要約: トランスフォーマーは自然言語処理(NLP)とコンピュータビジョンアプリケーションの性能を大幅に改善した。 変換器の計算には行列乗算とソフトマックスやGELUのような非線形活性化関数が含まれる。
• 参考スコア（独自算出の注目度）: 4.007047170705717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have improved drastically the performance of natural language processing (NLP) and computer vision applications. The computation of transformers involves matrix multiplications and non-linear activation functions such as softmax and GELU (Gaussion Error Linear Unit) that are accelerated directly in hardware. Currently, function evaluation is done separately for each function and rarely allows for hardware reuse. To mitigate this problem, in this work, we map the computation of GELU to a softmax operator. In this way, the efficient hardware units designed already for softmax can be reused for computing GELU as well. Computation of GELU can enjoy the inherent vectorized nature of softmax and produce in parallel multiple GELU outcomes. Experimental results show that computing GELU via a pre-existing and incrementally modified softmax hardware unit (a) does not reduce the accuracy of representative NLP applications and (b) allows the reduction of the overall hardware area and power by 6.1% and 11.9%, respectively, on average.
• Abstract（参考訳）: トランスフォーマーは自然言語処理(NLP)とコンピュータビジョンアプリケーションの性能を大幅に改善した。 変換器の計算には行列乗算やソフトマックスやGELU (Gaussion Error Linear Unit) などの非線形活性化関数が含まれ、ハードウェア上で直接高速化される。 現在、機能評価は各機能ごとに個別に行われており、ハードウェアの再利用はまれである。 この問題を軽減するために,GELUの計算をソフトマックス演算子にマップする。 このように、既にソフトマックス用に設計された効率的なハードウェアユニットはGELUの計算にも再利用できる。 GELUの計算はソフトマックスの固有ベクトル化の性質を享受し、並列に複数のGELU結果を生成することができる。 実験結果からGELU計算は,既存のソフトマックスハードウェアユニットをインクリメンタルに修正した。 (a)代表NLPアプリケーションの精度を低下させません。 (b) ハードウェア全体の面積と電力をそれぞれ平均で6.1%、11.9%削減することができる。

関連論文リスト

• PEANO-ViT: Power-Efficient Approximations of Non-Linearities in Vision Transformers [4.523939613157408]
  Vision Transformers (ViTs) は、FPGA(Field-Programmable Gate Arrays) 用に設計されている。 ViTの非線形関数は、複雑な数学的操作のため、効率的なハードウェア実装に重大な障害をもたらす。 PEANO-ViTはレイヤ正規化層の実装を合理化するための新しいアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-21T03:54:10Z)
• All-to-all reconfigurability with sparse and higher-order Ising machines [0.0]
  オール・ツー・オールのネットワーク機能をエミュレートする多重アーキテクチャを導入する。 適応並列テンパリングアルゴリズムの実行は、競合するアルゴリズムと事前ファクターの利点を示す。 pビットIMのスケールされた磁気バージョンは、汎用最適化のための最先端技術よりも桁違いに改善される可能性がある。
  論文  参考訳（メタデータ） (2023-11-21T20:27:02Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• SOFT: Softmax-free Transformer with Linear Complexity [112.9754491864247]
  視覚変換器(ViT)は、パッチワイド画像トークン化と自己認識によって、様々な視覚認識タスクの最先端を推し進めている。 線形複雑度で自己注意を近似する様々な試みが自然言語処理で行われている。 これらの制限は、近似中にソフトマックスの自己注意を維持することに根ざしている。 ソフトマックスフリー変圧器(SOFT)を初めて提案する。
  論文  参考訳（メタデータ） (2021-10-22T17:57:29Z)
• TurboTransformers: An Efficient GPU Serving System For Transformer Models [17.4637724940437]
  TurboTransformersシステムは、コンピューティングランタイムとサービスフレームワークで構成されている。 GPUベースのバッチ削減操作に対して,効率的な並列アルゴリズムを提案する。 メモリ割り当てアルゴリズムは可変長入力状況向けに設計されている。 新しいバッチスケジューラを備えたサービスフレームワークは、可変長要求に対して最適なスループットを実現する。
  論文  参考訳（メタデータ） (2020-10-09T07:28:38Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Gaussian Error Linear Units (GELUs) [58.195342948092964]
  本稿では,入力の重み付けを行うニューラルネットワークアクティベーション関数を提案する。 コンピュータビジョン、自然言語処理、音声タスクのすべてにおいて、パフォーマンスが改善されている。
  論文  参考訳（メタデータ） (2016-06-27T19:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。