論文の概要: HeTraX: Energy Efficient 3D Heterogeneous Manycore Architecture for Transformer Acceleration

• arxiv url: http://arxiv.org/abs/2408.03397v1
• Date: Tue, 6 Aug 2024 18:48:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 12:25:11.158350
• Title: HeTraX: Energy Efficient 3D Heterogeneous Manycore Architecture for Transformer Acceleration
• Title（参考訳）: HeTraX:変圧器加速のためのエネルギー効率の良い3次元異種マルチコアアーキテクチャ
• Authors: Pratyush Dhingra, Janardhan Rao Doppa, Partha Pratim Pande,
• Abstract要約: 本稿では,変圧器モデルの高速化に特化して最適化されたHeTraXと呼ばれる3次元ヘテロジニアスアーキテクチャの設計を提案する。 実験の結果、HeTraXは既存の最先端技術よりも5.6倍のスピードアップを実現し、EDPを14.5倍改善し、熱的実現性を確保した。
• 参考スコア（独自算出の注目度）: 18.355570259898
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have revolutionized deep learning and generative modeling to enable unprecedented advancements in natural language processing tasks and beyond. However, designing hardware accelerators for executing transformer models is challenging due to the wide variety of computing kernels involved in the transformer architecture. Existing accelerators are either inadequate to accelerate end-to-end transformer models or suffer notable thermal limitations. In this paper, we propose the design of a three-dimensional heterogeneous architecture referred to as HeTraX specifically optimized to accelerate end-to-end transformer models. HeTraX employs hardware resources aligned with the computational kernels of transformers and optimizes both performance and energy. Experimental results show that HeTraX outperforms existing state-of-the-art by up to 5.6x in speedup and improves EDP by 14.5x while ensuring thermally feasibility.
• Abstract（参考訳）: トランスフォーマーは、自然言語処理タスクなどにおける前例のない進歩を可能にするために、ディープラーニングと生成モデリングに革命をもたらした。 しかし、トランスアーキテクチャに関わる多種多様なコンピューティングカーネルのため、トランスフォーマーモデルを実行するハードウェアアクセラレータの設計は困難である。 既存の加速器は、エンド・ツー・エンドのトランスフォーマー・モデルの加速に不適当か、顕著な温度制限に悩まされている。 本稿では,エンド・ツー・エンド・エンド・トランスフォーマーモデルに最適化されたHeTraXと呼ばれる3次元ヘテロジニアスアーキテクチャの設計を提案する。 HeTraXは、トランスの計算カーネルに合わせたハードウェアリソースを採用し、性能とエネルギーの両方を最適化する。 実験の結果、HeTraXは既存の最先端技術よりも5.6倍のスピードアップを実現し、EDPを14.5倍改善し、熱的実現性を確保した。

関連論文リスト

• Co-Designing Binarized Transformer and Hardware Accelerator for Efficient End-to-End Edge Deployment [3.391499691517567]
  トランスフォーマーモデルはAIタスクに革命をもたらしたが、その大きなサイズはリソース制約やレイテンシクリティカルなエッジデバイスへの実際のデプロイメントを妨げる。 本稿では, アルゴリズム, ハードウェア, 共同最適化の3つの側面から, トランスフォーマーのエンドツーエンド配置を効率的に行うための設計手法を提案する。 実験の結果,2.14-49.37倍のスループット向上と3.72-88.53倍のエネルギー効率を実現した。
  論文  参考訳（メタデータ） (2024-07-16T12:36:10Z)
• TurboViT: Generating Fast Vision Transformers via Generative Architecture Search [74.24393546346974]
  近年、視覚変換器は様々な視覚認知タスクに対処する上で、前例のないレベルの性能を示している。 近年,効率的な視覚変換器の設計に関する研究が盛んに行われている。 本研究では,生成型アーキテクチャサーチによる高速ビジョントランスフォーマーアーキテクチャの設計について検討する。
  論文  参考訳（メタデータ） (2023-08-22T13:08:29Z)
• TransCODE: Co-design of Transformers and Accelerators for Efficient Training and Inference [6.0093441900032465]
  本稿では,アクセラレータの設計空間におけるトランスフォーマー推論とトレーニングをシミュレートするフレームワークを提案する。 我々はこのシミュレータとTransCODEと呼ばれる共同設計手法を併用して最適性能のモデルを得る。 得られた変圧器・加速器対は、最先端の対よりも0.3%高い精度を達成する。
  論文  参考訳（メタデータ） (2023-03-27T02:45:18Z)
• AccelTran: A Sparsity-Aware Accelerator for Dynamic Inference with Transformers [6.0093441900032465]
  自己注意に基づくトランスフォーマーモデルは自然言語処理の分野で大きな成功を収めた。 従来の作業は、ハードウェアの利用を制限する注意操作に関わる大きな行列を直接操作する。 低オーバーヘッドで実行時にアクティベーションを発生させる新しい動的推論スキームDynaTranを提案する。
  論文  参考訳（メタデータ） (2023-02-28T16:17:23Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting [52.33042819442005]
  トランスフォーマーはMTSFのデファクトソリューションとなっている。 本研究では,MTSFトランスフォーマーアーキテクチャにおける現在のトークン化戦略がトランスフォーマーのトークン帰納バイアスを無視していることを指摘した。 バニラMTSF変圧器の基本構造について一連の進化を行った。 驚いたことに、進化した単純変圧器アーキテクチャは非常に効果的であり、バニラMTSF変圧器の過密現象を回避することに成功している。
  論文  参考訳（メタデータ） (2022-12-06T07:00:31Z)
• Auto-ViT-Acc: An FPGA-Aware Automatic Acceleration Framework for Vision Transformer with Mixed-Scheme Quantization [78.18328503396057]
  コンピュータビジョンタスクにおいて、視覚変換器(ViT)は大幅に精度が向上している。 本研究は,提案した混合スキーム量子化に基づくFPGA対応自動ViT加速フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-10T05:54:46Z)
• Vis-TOP: Visual Transformer Overlay Processor [9.80151619872144]
  Transformerは自然言語処理(NLP)で優れた成果を上げており、コンピュータビジョン(CV)にも拡張し始めている。 様々な視覚変換器モデルのためのオーバーレイプロセッサであるVis-TOPを提案する。 Vis-TOPは、全ての視覚変換器モデルの特徴を要約し、3層および2層変換構造を実装している。
  論文  参考訳（メタデータ） (2021-10-21T08:11:12Z)
• AutoTrans: Automating Transformer Design via Reinforced Architecture Search [52.48985245743108]
  本稿では,手作業に適したトランスフォーマーアーキテクチャを実現するために,レイヤノルムの設定方法,スケール,レイヤ数,ヘッド数,アクティベーション関数などを実証的に検討する。 CoNLL03、Multi-30k、IWSLT14、WMT-14の実験は、探索されたトランスモデルが標準トランスモデルより優れていることを示している。
  論文  参考訳（メタデータ） (2020-09-04T08:46:22Z)
• Transformer on a Diet [81.09119185568296]
  トランスフォーマーは、効率よくシーケンス情報をキャプチャできる能力のおかげで、広く使われている。 BERT や GPT-2 のような最近の開発は、有効性を重視した重いアーキテクチャしか提供していない。 計算量が少ないトランスフォーマーが競合する結果をもたらすかどうかを調べるために, 慎重に設計された3つの光トランスフォーマーアーキテクチャを探索する。
  論文  参考訳（メタデータ） (2020-02-14T18:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。