論文の概要: Accelerator-driven Data Arrangement to Minimize Transformers Run-time on
Multi-core Architectures
- arxiv url: http://arxiv.org/abs/2312.13000v1
- Date: Wed, 20 Dec 2023 13:01:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 15:42:23.138865
- Title: Accelerator-driven Data Arrangement to Minimize Transformers Run-time on
Multi-core Architectures
- Title(参考訳): マルチコアアーキテクチャ上でのトランスフォーマーを最小化するアクセラレータ駆動データアレンジメント
- Authors: Alireza Amirshahi, Giovanni Ansaloni, David Atienza
- Abstract要約: 人工知能におけるトランスフォーマーモデルの複雑さは、計算コスト、メモリ使用量、エネルギー消費を拡大します。
ハードウェアアクセラレーターのカーネルサイズに支配される新しいメモリアレンジメント戦略を提案し,オフチップデータアクセスを効果的に最小化する。
我々の手法は、最先端の変圧器を用いた推論を実行する場合、最大2.8倍の速度向上を実現することができる。
- 参考スコア(独自算出の注目度): 5.46396577345121
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing complexity of transformer models in artificial intelligence
expands their computational costs, memory usage, and energy consumption.
Hardware acceleration tackles the ensuing challenges by designing processors
and accelerators tailored for transformer models, supporting their computation
hotspots with high efficiency. However, memory bandwidth can hinder
improvements in hardware accelerators. Against this backdrop, in this paper we
propose a novel memory arrangement strategy, governed by the hardware
accelerator's kernel size, which effectively minimizes off-chip data access.
This arrangement is particularly beneficial for end-to-end transformer model
inference, where most of the computation is based on general matrix
multiplication (GEMM) operations. Additionally, we address the overhead of
non-GEMM operations in transformer models within the scope of this memory data
arrangement. Our study explores the implementation and effectiveness of the
proposed accelerator-driven data arrangement approach in both single- and
multi-core systems. Our evaluation demonstrates that our approach can achieve
up to a 2.8x speed increase when executing inferences employing
state-of-the-art transformers.
- Abstract(参考訳): 人工知能におけるトランスフォーマーモデルの複雑さの増大は、計算コスト、メモリ使用量、エネルギー消費を増大させる。
ハードウェアアクセラレーションは、トランスフォーマーモデルに適したプロセッサやアクセラレータを設計し、高い効率で計算ホットスポットをサポートすることで、続く課題に取り組む。
しかし、メモリ帯域幅はハードウェアアクセラレータの改善を妨げる可能性がある。
本稿では,オフチップデータアクセスを効果的に最小化するハードウェアアクセラレーションのカーネルサイズによって制御される新しいメモリ配置戦略を提案する。
この配置は、計算のほとんどがgemm(general matrix multiplication)演算に基づいているエンドツーエンドトランスフォーマーモデル推論に特に有用である。
さらに,このメモリデータアレンジメントの範囲内でのトランスフォーマモデルにおける非GEMM演算のオーバーヘッドに対処する。
本研究では,シングルコアとマルチコアシステムの両方において,提案するアクセル駆動型データアレンジメント手法の実装と有効性について検討する。
本評価は,最先端トランスフォーマを用いた推論の実行において,最大2.8倍の速度向上を実現することを実証する。
関連論文リスト
- RACE-IT: A Reconfigurable Analog CAM-Crossbar Engine for In-Memory
Transformer Acceleration [21.196696191478885]
Transformer ModelはDeep Neural Networks(DNN)の最先端を表現している。
これらのモデルを処理するには、かなりの計算資源が必要で、結果としてかなりのメモリフットプリントが要求される。
本稿では,トランスフォーマ内で様々な非MVM操作を行うことのできる新しいAnalog Content Addressable Memory(ACAM)構造を提案する。
論文 参考訳(メタデータ) (2023-11-29T22:45:39Z) - MCUFormer: Deploying Vision Transformers on Microcontrollers with
Limited Memory [76.02294791513552]
我々はMCUFormerと呼ばれるハードウェア・アルゴリズムの協調最適化手法を提案し、メモリが極端に制限されたマイクロコントローラにビジョントランスフォーマーを配置する。
MCUFormerは320KBのメモリを持つ画像分類のためのImageNet上で73.62%のTop-1精度を実現している。
論文 参考訳(メタデータ) (2023-10-25T18:00:26Z) - Ring Attention with Blockwise Transformers for Near-Infinite Context [88.61687950039662]
本稿では,複数のデバイスにまたがって長いシーケンスを分散するために,ブロックワイドな自己注意とフィードフォワードの計算を利用する,ブロックワイドトランスフォーマーを用いたリングアテンション(リングアテンション)を提案する。
提案手法では,先行メモリ効率の変換器で達成可能なものよりも,デバイス数倍のシーケンスのトレーニングと推論が可能となる。
論文 参考訳(メタデータ) (2023-10-03T08:44:50Z) - DAISM: Digital Approximate In-SRAM Multiplier-based Accelerator for DNN
Training and Inference [4.718504401468233]
PIMソリューションは、まだ成熟していない新しいメモリ技術か、パフォーマンス上のオーバーヘッドとスケーラビリティの問題のあるビットシリアル計算に依存している。
本稿では,従来のメモリを用いてビット並列計算を行い,複数のワードラインのアクティベーションを利用する,SRAM内デジタル乗算器を提案する。
次に、この乗算器を利用したアーキテクチャであるDAISMを導入し、SOTAと比較して最大2桁高い面積効率を実現し、競争エネルギー効率を向上する。
論文 参考訳(メタデータ) (2023-05-12T10:58:21Z) - TransCODE: Co-design of Transformers and Accelerators for Efficient
Training and Inference [6.0093441900032465]
本稿では,アクセラレータの設計空間におけるトランスフォーマー推論とトレーニングをシミュレートするフレームワークを提案する。
我々はこのシミュレータとTransCODEと呼ばれる共同設計手法を併用して最適性能のモデルを得る。
得られた変圧器・加速器対は、最先端の対よりも0.3%高い精度を達成する。
論文 参考訳(メタデータ) (2023-03-27T02:45:18Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳(メタデータ) (2023-03-25T14:40:59Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳(メタデータ) (2023-02-27T18:18:13Z) - HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer
Compression [69.36555801766762]
本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。
ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
論文 参考訳(メタデータ) (2022-11-30T05:31:45Z) - An Algorithm-Hardware Co-Optimized Framework for Accelerating N:M Sparse
Transformers [11.811907838840712]
一般のN:M空間パターンを利用して, フレキシブルかつ効率的にトランスフォーマーを高速化するアルゴリズム・ハードウェア協調最適化フレームワークを提案する。
我々は、N:Mスパーストランスをデプロイする際の大幅な高速化を実現するために、フレキシブルで効率的なハードウェアアーキテクチャ、すなわちSTAを提案する。
実験の結果, 他の方法と比較して, IDPを用いて生成したN:Mスパース変圧器は, トレーニング効率の高い精度で平均6.7%向上することがわかった。
論文 参考訳(メタデータ) (2022-08-12T04:51:49Z) - Neural-PIM: Efficient Processing-In-Memory with Neural Approximation of
Peripherals [11.31429464715989]
本稿では,ディープラーニングタスクを効率的に高速化する新しいPIMアーキテクチャを提案する。
アナログ集積回路とニューラル近似周辺回路で必要となるA/D変換を最小化する。
異なるベンチマークによる評価では、Neural-PIMはエネルギー効率を5.36x (1.73x)向上し、スループットを3.43x (1.59x)向上する。
論文 参考訳(メタデータ) (2022-01-30T16:14:49Z) - Augmented Shortcuts for Vision Transformers [49.70151144700589]
視覚変換器モデルにおけるショートカットと特徴の多様性の関係について検討する。
本稿では,元のショートカットに並列に学習可能なパラメータを追加経路を挿入する拡張ショートカット方式を提案する。
ベンチマークデータセットを用いて実験を行い,提案手法の有効性を実証した。
論文 参考訳(メタデータ) (2021-06-30T09:48:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。