論文の概要: SHARP: An Adaptable, Energy-Efficient Accelerator for Recurrent Neural
Network
- arxiv url: http://arxiv.org/abs/1911.01258v3
- Date: Sun, 21 May 2023 04:12:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 08:58:07.137125
- Title: SHARP: An Adaptable, Energy-Efficient Accelerator for Recurrent Neural
Network
- Title（参考訳）: SHARP: 繰り返しニューラルネットワークのための適応的でエネルギー効率の良い加速器
- Authors: Reza Yazdani, Olatunji Ruwase, Minjia Zhang, Yuxiong He, Jose-Maria
Arnau, Antonio Gonzalez
- Abstract要約: 本稿では,RNNの適応性を高めるためのインテリジェントタイル型機構を提案する。
シャープは、異なるRNNモデルとリソース予算を考慮して、平均で2倍、2.8倍、82倍のスピードアップを達成する。
- 参考スコア（独自算出の注目度）: 17.928105470385614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The effectiveness of Recurrent Neural Networks (RNNs) for tasks such as
Automatic Speech Recognition has fostered interest in RNN inference
acceleration. Due to the recurrent nature and data dependencies of RNN
computations, prior work has designed customized architectures specifically
tailored to the computation pattern of RNN, getting high computation efficiency
for certain chosen model sizes. However, given that the dimensionality of RNNs
varies a lot for different tasks, it is crucial to generalize this efficiency
to diverse configurations. In this work, we identify adaptiveness as a key
feature that is missing from today's RNN accelerators. In particular, we first
show the problem of low resource-utilization and low adaptiveness for the
state-of-the-art RNN implementations on GPU, FPGA and ASIC architectures. To
solve these issues, we propose an intelligent tiled-based dispatching mechanism
for increasing the adaptiveness of RNN computation, in order to efficiently
handle the data dependencies. To do so, we propose Sharp as a hardware
accelerator, which pipelines RNN computation using an effective scheduling
scheme to hide most of the dependent serialization. Furthermore, Sharp employs
dynamic reconfigurable architecture to adapt to the model's characteristics.
Sharp achieves 2x, 2.8x, and 82x speedups on average, considering different RNN
models and resource budgets, compared to the state-of-the-art ASIC, FPGA, and
GPU implementations, respectively. Furthermore, we provide significant
energy-reduction with respect to the previous solutions, due to the low power
dissipation of Sharp (321 GFLOPS/Watt).
- Abstract（参考訳）: 自動音声認識などのタスクに対するリカレントニューラルネットワーク(RNN)の有効性は、RNN推論加速への関心を高めている。
RNN計算の繰り返しの性質とデータ依存のため、先行研究はRNNの計算パターンに合わせてカスタマイズされたアーキテクチャを設計し、選択したモデルサイズに対して高い計算効率を得る。
しかし、RNNの次元性はタスクによって大きく異なるため、この効率を多様な構成に一般化することが重要である。
本研究では、今日のRNNアクセラレーターに欠けている重要な特徴として適応性を識別する。
特に,GPU,FPGA,ASICアーキテクチャ上での最先端RNN実装において,資源利用率の低下と適応性の低下が問題となる。
そこで本研究では,データ依存を効率的に処理するために,rnn計算の適応性を高めるためのインテリジェントなタイルベースディスパッチ機構を提案する。
そこで本研究では,RNN計算を効果的スケジューリング方式でパイプラインし,従属シリアライゼーションの大部分を隠蔽するハードウェアアクセラレータとしてSharpを提案する。
さらに、シャープはモデルの特徴に適応するために動的再構成可能なアーキテクチャを採用している。
Sharpは、最先端のASIC、FPGA、GPU実装と比較して、RNNモデルとリソース予算が異なるため、平均で2倍、2.8倍、82倍のスピードアップを実現している。
さらに,シャープ(321 GFLOPS/Watt)の低消費電力化により,従来の解に対するエネルギー削減効果も大きく向上した。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - Accurate Mapping of RNNs on Neuromorphic Hardware with Adaptive Spiking Neurons [2.9410174624086025]
我々は、SigmaDelta$-low-pass RNN(lpRNN)を、レートベースのRNNをスパイクニューラルネットワーク(SNN)にマッピングするために提示する。
適応スパイキングニューロンモデルは、$SigmaDelta$-modulationを使って信号を符号化し、正確なマッピングを可能にする。
我々は、Intelのニューロモルフィック研究チップLoihiにおけるlpRNNの実装を実演する。
論文 参考訳（メタデータ） (2024-07-18T14:06:07Z) - DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。
我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。
拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-11T06:31:03Z) - CIF-T: A Novel CIF-based Transducer Architecture for Automatic Speech
Recognition [8.302549684364195]
本稿では,CIF(Continuous Integrate-and-Fire)機構をRNN-Tモデルに組み込んだCIF-Transducer(CIF-T)を提案する。
CIF-T は RNN-T モデルと比較して計算オーバーヘッドの少ない最先端の結果が得られる。
論文 参考訳（メタデータ） (2023-07-26T11:59:14Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Weightless Neural Networks for Efficient Edge Inference [1.7882696915798877]
ウェイトレスニューラルネットワーク(WNN)は、テーブルルックアップを使用して推論を行う機械学習モデルのクラスである。
本稿では,WNN アーキテクチャ BTHOWeN を提案する。
BTHOWeNは、より優れたレイテンシとエネルギー効率を提供することで、大規模で成長するエッジコンピューティングセクターをターゲットにしている。
論文 参考訳（メタデータ） (2022-03-03T01:46:05Z) - Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking
Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。
SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う
そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-22T18:47:45Z) - Dynamically Throttleable Neural Networks (TNN) [24.052859278938858]
ディープニューラルネットワーク(DNN)の条件計算は、全体の計算負荷を削減し、ネットワークのサブセットを実行することでモデルの精度を向上させる。
我々は,自身のパフォーマンス目標と計算資源を適応的に自己制御できるランタイムスロットルブルニューラルネットワーク(TNN)を提案する。
論文 参考訳（メタデータ） (2020-11-01T20:17:42Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳（メタデータ） (2020-10-08T18:24:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。