論文の概要: Design Challenges of Neural Network Acceleration Using Stochastic
Computing
- arxiv url: http://arxiv.org/abs/2006.05352v1
- Date: Mon, 8 Jun 2020 16:06:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 02:46:39.127688
- Title: Design Challenges of Neural Network Acceleration Using Stochastic
Computing
- Title(参考訳): 確率計算を用いたニューラルネットワーク加速の設計課題
- Authors: Alireza Khadem
- Abstract要約: 本報告では,モノのインターネット(IoT)のための2つの提案されたNN設計を評価し,比較する。
MNIST-5 NN モデルを実行する場合,BISC は他のアーキテクチャよりも優れていることがわかった。
解析とシミュレーション実験により,このアーキテクチャは50倍,5.7倍,7.8倍,1.8倍の電力を消費することがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The enormous and ever-increasing complexity of state-of-the-art neural
networks (NNs) has impeded the deployment of deep learning on resource-limited
devices such as the Internet of Things (IoTs). Stochastic computing exploits
the inherent amenability to approximation characteristic of NNs to reduce their
energy and area footprint, two critical requirements of small embedded devices
suitable for the IoTs. This report evaluates and compares two recently proposed
stochastic-based NN designs, referred to as BISC (Binary Interfaced Stochastic
Computing) by Sim and Lee, 2017, and ESL (Extended Stochastic Logic) by Canals
et al., 2016. Using analysis and simulation, we compare three distinct
implementations of these designs in terms of performance, power consumption,
area, and accuracy. We also discuss the overall challenges faced in adopting
stochastic computing for building NNs. We find that BISC outperforms the other
architectures when executing the LeNet-5 NN model applied to the MNIST digit
recognition dataset. Our analysis and simulation experiments indicate that this
architecture is around 50X faster, occupies 5.7X and 2.9X less area, and
consumes 7.8X and 1.8X less power than the two ESL architectures.
- Abstract(参考訳): 最先端のニューラルネットワーク(NN)の巨大で絶え間なく増加する複雑さは、IoT(Internet of Things)のようなリソース制限されたデバイスへのディープラーニングの展開を妨げる。
確率コンピューティングは、NNの近似特性に固有のアメニビリティを活用して、そのエネルギーと面積のフットプリントを削減し、IoTに適した小さな組み込みデバイスに対する2つの重要な要件である。
本報告では,最近提案された2つの確率的nn設計について,sim and leeによるbisc (binary interfaced stochastic computing) とcanals et al.によるesl (extended stochastic logic) を比較し,比較する。
解析とシミュレーションを用いて, 性能, 消費電力, 面積, 精度という観点から, これら設計の3つの異なる実装を比較した。
また、NN構築に確率計算を採用する際の全体的な課題についても論じる。
BISC は MNIST 桁認識データセットに適用した LeNet-5 NN モデルの実行時に他のアーキテクチャよりも優れることがわかった。
解析とシミュレーションの結果、このアーキテクチャは50倍速く、面積は5.7倍と2.9倍小さく、2つのeslアーキテクチャよりも7.8倍と1.8倍の電力消費があることがわかった。
関連論文リスト
- Bayesian Inference Accelerator for Spiking Neural Networks [3.145754107337963]
スパイキングニューラルネットワーク(SNN)は、計算面積と電力を減らす可能性がある。
本研究では,効率的なベイズSNNをハードウェア上で開発・実装するための最適化フレームワークについて述べる。
我々は、完全精度のベルヌーイパラメータを持つベイジアンバイナリネットワークに匹敵するアキュラ級数を示し、最大25時間分のスパイクを減らした。
論文 参考訳(メタデータ) (2024-01-27T16:27:19Z) - YFlows: Systematic Dataflow Exploration and Code Generation for
Efficient Neural Network Inference using SIMD Architectures on CPUs [3.1445034800095413]
CPU上にニューラルネットワークをデプロイする際の課題に対処する。
我々の新しいアプローチは、ニューラルネットワークのデータフローを使用して、データ再利用の機会を探ることです。
その結果,SIMDレジスタに出力を保持するデータフローが常に最高の性能を示すことがわかった。
論文 参考訳(メタデータ) (2023-10-01T05:11:54Z) - Energy-Efficient On-Board Radio Resource Management for Satellite
Communications via Neuromorphic Computing [59.40731173370976]
本研究は,エネルギー効率のよい脳誘発機械学習モデルのオンボード無線リソース管理への応用について検討する。
関連するワークロードでは、Loihi 2に実装されたスパイクニューラルネットワーク(SNN)の方が精度が高く、CNNベースのリファレンスプラットフォームと比較して消費電力が100ドル以上削減される。
論文 参考訳(メタデータ) (2023-08-22T03:13:57Z) - Low-bit Shift Network for End-to-End Spoken Language Understanding [7.851607739211987]
本稿では,連続パラメータを低ビットの2値に量子化する2乗量子化法を提案する。
これにより、高価な乗算演算を除去し、低ビット重みを使用すれば計算の複雑さを低減できる。
論文 参考訳(メタデータ) (2022-07-15T14:34:22Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳(メタデータ) (2022-06-26T16:00:22Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳(メタデータ) (2021-08-28T20:39:54Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳(メタデータ) (2021-05-07T11:39:05Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳(メタデータ) (2020-12-31T18:48:58Z) - FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。
そこで本研究では、3次内積の計算複雑性を2。
性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文 参考訳(メタデータ) (2020-08-12T04:26:18Z) - FSpiNN: An Optimization Framework for Memory- and Energy-Efficient
Spiking Neural Networks [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパイクタイピング依存の可塑性(STDP)ルールのために教師なし学習機能を提供する。
しかし、最先端のSNNは高い精度を達成するために大きなメモリフットプリントを必要とする。
トレーニングおよび推論処理のためのメモリ効率とエネルギー効率のよいSNNを得るための最適化フレームワークFSpiNNを提案する。
論文 参考訳(メタデータ) (2020-07-17T09:40:26Z) - Fully-parallel Convolutional Neural Network Hardware [0.7829352305480285]
本稿では,ハードウェアにArticial Neural Networks(ANN)を実装するための,新しい電力・面積効率アーキテクチャを提案する。
LENET-5として完全に並列なCNNを1つのFPGAに埋め込んでテストするのが初めてである。
論文 参考訳(メタデータ) (2020-06-22T17:19:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。