論文の概要: Binary stochasticity enabled highly efficient neuromorphic deep learning
achieves better-than-software accuracy
- arxiv url: http://arxiv.org/abs/2304.12866v1
- Date: Tue, 25 Apr 2023 14:38:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-26 20:14:15.316382
- Title: Binary stochasticity enabled highly efficient neuromorphic deep learning
achieves better-than-software accuracy
- Title（参考訳）: 高能率ニューロモルフィック深層学習の両眼確率性によるソフトウェア精度の向上
- Authors: Yang Li, Wei Wang, Ming Wang, Chunmeng Dou, Zhengyu Ma, Huihui Zhou,
Peng Zhang, Nicola Lepri, Xumeng Zhang, Qing Luo, Xiaoxin Xu, Guanhua Yang,
Feng Zhang, Ling Li, Daniele Ielmini, and Ming Liu
- Abstract要約: ディープラーニングには、フォワーディング信号の高精度処理、バックプロパゲーションエラー、ウェイトのアップデートが必要だ。
ノイズの多いアナログ・メムリスタを人工シナプスとして使用するハードウェアシステムでディープラーニングを実装することは困難である。
本稿では,全ての基本的ニューラルネットワーク操作を修飾する二進学習アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 17.11946381948498
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep learning needs high-precision handling of forwarding signals,
backpropagating errors, and updating weights. This is inherently required by
the learning algorithm since the gradient descent learning rule relies on the
chain product of partial derivatives. However, it is challenging to implement
deep learning in hardware systems that use noisy analog memristors as
artificial synapses, as well as not being biologically plausible.
Memristor-based implementations generally result in an excessive cost of
neuronal circuits and stringent demands for idealized synaptic devices. Here,
we demonstrate that the requirement for high precision is not necessary and
that more efficient deep learning can be achieved when this requirement is
lifted. We propose a binary stochastic learning algorithm that modifies all
elementary neural network operations, by introducing (i) stochastic
binarization of both the forwarding signals and the activation function
derivatives, (ii) signed binarization of the backpropagating errors, and (iii)
step-wised weight updates. Through an extensive hybrid approach of software
simulation and hardware experiments, we find that binary stochastic deep
learning systems can provide better performance than the software-based
benchmarks using the high-precision learning algorithm. Also, the binary
stochastic algorithm strongly simplifies the neural network operations in
hardware, resulting in an improvement of the energy efficiency for the
multiply-and-accumulate operations by more than three orders of magnitudes.
- Abstract（参考訳）: ディープラーニングには、フォワーディング信号の高精度処理、バックプロパゲーションエラー、ウェイトのアップデートが必要だ。
これは、勾配降下学習規則が部分微分の連鎖積に依存しているため、学習アルゴリズムによって本質的に必要となる。
しかし, 人工シナプスとしてノイズの多いアナログメムリスタを用いるハードウェアシステムにおいて, 生物学的に妥当でないような深層学習を実現することは困難である。
memristorベースの実装は一般に、ニューロン回路の過大なコストと理想化されたシナプスデバイスに対する厳しい要求をもたらす。
そこで本研究では,高精度の要求は不要であり,この要求が解除された場合により効率的な深層学習を実現することを実証する。
本稿では,すべての基本ニューラルネットワーク操作を修飾する二元確率学習アルゴリズムを提案する。
(i)転送信号と活性化関数の導関数の確率的二乗化
(ii)バックプロパゲーションエラーの符号付きバイナリ化、
(iii)段階的な重み付け更新。
ソフトウェアシミュレーションとハードウェア実験のハイブリッドアプローチにより、二進確率深層学習システムは、高精度学習アルゴリズムを用いて、ソフトウェアベースのベンチマークよりも優れた性能を提供できることがわかった。
また、二項確率アルゴリズムはハードウェアにおけるニューラルネットワーク操作を強く単純化し、乗算および累積演算のエネルギー効率を3桁以上改善する。
関連論文リスト
- Semi-adaptive Synergetic Two-way Pseudoinverse Learning System [8.16000189123978]
本稿では,半適応型2方向擬似逆学習システムを提案する。
各サブシステムは、前方学習、後方学習、機能結合モジュールを含む。
システム全体は、非段階的な降下学習アルゴリズムを用いて訓練される。
論文 参考訳（メタデータ） (2024-06-27T06:56:46Z) - BOLD: Boolean Logic Deep Learning [1.4272256806865107]
本稿では、ブール重みと入力からなるニューロンを、降下勾配や実算術の代わりにブール論理を用いてブール領域で効率的に訓練できるようなブール変動の概念を導入する。
提案手法は,ImageNet分類におけるベースライン完全精度を実現し,セマンティックセグメンテーションの最先端結果を上回った。
トレーニングと推論の双方において、エネルギー消費を著しく減少させる。
論文 参考訳（メタデータ） (2024-05-25T19:50:23Z) - Enabling On-device Continual Learning with Binary Neural Networks [3.180732240499359]
連続学習(CL)とバイナリニューラルネットワーク(BNN)の分野における最近の進歩を組み合わせたソリューションを提案する。
具体的には,2値の潜在リプレイアクティベーションと,勾配計算に必要なビット数を大幅に削減する新しい量子化方式を利用する。
論文 参考訳（メタデータ） (2024-01-18T11:57:05Z) - Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。
この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
論文 参考訳（メタデータ） (2022-12-29T15:10:59Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳（メタデータ） (2022-11-16T00:11:04Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Recognizing and Verifying Mathematical Equations using Multiplicative
Differential Neural Units [86.9207811656179]
メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。
本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
論文 参考訳（メタデータ） (2021-04-07T03:50:11Z) - Truly Sparse Neural Networks at Scale [2.2860412844991655]
私たちは、表現力の観点から訓練された史上最大のニューラルネットワークをトレーニングします。
われわれのアプローチは、環境に優しい人工知能時代の道を歩みながら、最先端の性能を持っている。
論文 参考訳（メタデータ） (2021-02-02T20:06:47Z) - A Novel Anomaly Detection Algorithm for Hybrid Production Systems based
on Deep Learning and Timed Automata [73.38551379469533]
DAD:DeepAnomalyDetectionは,ハイブリッド生産システムにおける自動モデル学習と異常検出のための新しいアプローチである。
深層学習とタイムドオートマトンを組み合わせて、観察から行動モデルを作成する。
このアルゴリズムは実システムからの2つのデータを含む少数のデータセットに適用され、有望な結果を示している。
論文 参考訳（メタデータ） (2020-10-29T08:27:43Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。