Fugu-MT 論文翻訳(概要): Non-Blocking Simultaneous Multithreading: Embracing the Resiliency of Deep Neural Networks

論文の概要: Non-Blocking Simultaneous Multithreading: Embracing the Resiliency of Deep Neural Networks

arxiv url: http://arxiv.org/abs/2004.09309v2
Date: Thu, 17 Sep 2020 20:54:37 GMT
ステータス: 処理完了
システム内更新日: 2022-12-12 13:06:51.850056
Title: Non-Blocking Simultaneous Multithreading: Embracing the Resiliency of Deep Neural Networks
Title（参考訳）: 非ブロッキング同時マルチスレッディング:ディープニューラルネットワークの弾力性を受け入れる
Authors: Gil Shomron, Uri Weiser
Abstract要約: ディープニューラルネットワーク(Deep Neural Network, DNN)は、ハードウェアのアクティベーションと重みに対するハードウェアの感受性のため、基盤となるハードウェアリソースを利用できないことで知られている。 DNNアクセラレータのためのノンブロッキングマルチスレッディング(NB-SMT)を提案する。我々は、NB-SMT対応出力定常シストリックアレイ(OS-SA)であるSySMTを用いて、NB-SMTの適用性を実証する。
参考スコア（独自算出の注目度）: 2.3931689873603603
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural networks (DNNs) are known for their inability to utilize underlying hardware resources due to hardware susceptibility to sparse activations and weights. Even in finer granularities, many of the non-zero values hold a portion of zero-valued bits that may cause inefficiencies when executed on hardware. Inspired by conventional CPU simultaneous multithreading (SMT) that increases computer resource utilization by sharing them across several threads, we propose non-blocking SMT (NB-SMT) designated for DNN accelerators. Like conventional SMT, NB-SMT shares hardware resources among several execution flows. Yet, unlike SMT, NB-SMT is non-blocking, as it handles structural hazards by exploiting the algorithmic resiliency of DNNs. Instead of opportunistically dispatching instructions while they wait in a reservation station for available hardware, NB-SMT temporarily reduces the computation precision to accommodate all threads at once, enabling a non-blocking operation. We demonstrate NB-SMT applicability using SySMT, an NB-SMT-enabled output-stationary systolic array (OS-SA). Compared with a conventional OS-SA, a 2-threaded SySMT consumes 1.4x the area and delivers 2x speedup with 33% energy savings and less than 1% accuracy degradation of state-of-the-art CNNs with ImageNet. A 4-threaded SySMT consumes 2.5x the area and delivers, for example, 3.4x speedup and 39% energy savings with 1% accuracy degradation of 40%-pruned ResNet-18.
Abstract（参考訳）: ディープニューラルネットワーク(dnn)は、ハードウェアのアクティベーションや重み付けがスパースするため、基盤となるハードウェアリソースを活用できないことで知られている。細かい粒度であっても、ゼロでない値の多くはゼロ値ビットの一部を持ち、ハードウェア上で実行されたときに非効率を引き起こす。従来のcpu同時マルチスレッディング(smt)に触発され,複数のスレッド間で共有することにより,コンピュータ資源の利用を増加させる。従来のSMTと同様に、NB-SMTはいくつかの実行フローでハードウェアリソースを共有する。しかし、SMTとは異なり、NB-SMTはDNNのアルゴリズム的レジリエンスを利用して構造的ハザードを処理するため、ノンブロッキングである。 NB-SMTは、利用可能なハードウェアの予約ステーションで待機している間に命令を同時に送る代わりに、計算精度を一時的に削減して全てのスレッドを一度に収容し、ノンブロッキング操作を可能にする。我々は,NB-SMT対応出力定常シストリックアレイ(OS-SA)であるSySMTを用いて,NB-SMTの適用性を示す。従来のos-saと比較して、2スレッドのsysmtはその面積の1.4倍を消費し、33%の省エネと1%未満の精度低下で2倍のスピードアップを実現している。 4スレッドのSySMTは面積の2.5倍を消費し、例えば3.4倍のスピードアップと39%の省エネを行う。

関連論文リスト

LoAS: Fully Temporal-Parallel Dataflow for Dual-Sparse Spiking Neural Networks [14.844751188874652]
スパイキングニューラルネットワーク(SNN)は、リソースに制約のあるエッジデバイスを駆動する可能性から、過去10年間で大きな研究注目を集めている。既存のSNNアクセラレーターはスパーススパイクを高密度で処理するが、スパースウェイトを持つSNNでは機会を探索することができない。二重スパースSNNの加速について検討し、そのコア演算、スパース行列-スパース-マトリクス乗算(spMspM)に着目した。
論文参考訳（メタデータ） (2024-07-19T07:02:26Z)
Shared Memory-contention-aware Concurrent DNN Execution for Diversely Heterogeneous System-on-Chips [0.32634122554914]
HaX-CoNNは、推論ワークロードの同時実行においてレイヤを特徴付け、マップする新しいスキームである。 NVIDIA Orin,NVIDIA Xavier,Qualcomm Snapdragon 865 SOC上でHaX-CoNNを評価した。
論文参考訳（メタデータ） (2023-08-10T22:47:40Z)
MT-SNN: Enhance Spiking Neural Network with Multiple Thresholds [2.3531574267580035]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる有望なエネルギー効率を提供する精度損失を軽減し,SNNの精度を大幅に向上させるMultiple Threshold (MT) 手法を提案する。 CIFAR10, CIFAR100, ImageNet, DVS-CIFAR10データセットに対する実験により, MTモードがシングルスレッドSNNの性能を大幅に向上することを示した。
論文参考訳（メタデータ） (2023-03-20T14:04:50Z)
BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
論文参考訳（メタデータ） (2022-11-13T18:31:45Z)
BiFSMN: Binary Neural Network for Keyword Spotting [47.46397208920726]
BiFSMNは、KWSのための正確かつ極効率のバイナリニューラルネットワークである。実世界のエッジハードウェアにおいて,BiFSMNは22.3倍の高速化と15.5倍のストレージ節約を実現可能であることを示す。
論文参考訳（メタデータ） (2022-02-14T05:16:53Z)
Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文参考訳（メタデータ） (2021-10-18T11:30:29Z)
Dynamic Multi-Branch Layers for On-Device Neural Machine Translation [53.637479651600586]
動的マルチブランチ層を用いたオンデバイスニューラルマシン翻訳(NMT)システムの性能向上を提案する。具体的には、トレーニングと推論中に1つの分岐のみを活性化した層方向動的マルチブランチネットワークを設計する。ほぼ同じ計算コストで、WMT14英語-ドイツ語翻訳タスクでは最大1.7 BLEUポイント、WMT20中国語-英語翻訳タスクでは1.8 BLEUポイントの改善を実現します。
論文参考訳（メタデータ） (2021-05-14T07:32:53Z)
EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware Multi-Task NLP Inference [82.1584439276834]
BERTのようなトランスフォーマーベースの言語モデルでは、自然言語処理(NLP)タスクの精度が大幅に向上する。 We present EdgeBERT, a in-deepth algorithm- hardware co-design for latency-aware energy optimization for multi-task NLP。
論文参考訳（メタデータ） (2020-11-28T19:21:47Z)
You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文参考訳（メタデータ） (2020-06-03T15:55:53Z)
Non-Volatile Memory Array Based Quantization- and Noise-Resilient LSTM Neural Networks [1.5332481598232224]
本稿では,LSTMモデルへの量子化対応学習アルゴリズムの適用に焦点を当てる。 4ビットのNVM重みと4ビットのADC/DACしか必要とせず、浮動小数点点のベースラインとして同等のLSTMネットワーク性能が得られることを示した。提案したLSTM加速器のベンチマーク解析により、従来のデジタル手法に比べて少なくとも2.4倍の計算効率と40倍の面積効率が得られた。
論文参考訳（メタデータ） (2020-02-25T02:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。