論文の概要: On-Chip Error-triggered Learning of Multi-layer Memristive Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2011.10852v1
• Date: Sat, 21 Nov 2020 19:44:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 23:14:15.107062
• Title: On-Chip Error-triggered Learning of Multi-layer Memristive Spiking Neural Networks
• Title（参考訳）: 多層memriスパイクニューラルネットワークのオンチップ誤りトリガー学習
• Authors: Melika Payvand, Mohammed E. Fouda, Fadi Kurdahi, Ahmed M. Eltawil, Emre O. Neftci
• Abstract要約: オンライン3次重み更新を用いた局所的,勾配に基づく,エラートリガー付き学習アルゴリズムを提案する。 提案アルゴリズムは,多層SNNを記憶型ニューロモルフィックハードウェアでオンライントレーニングすることを可能にする。
• 参考スコア（独自算出の注目度）: 1.7958576850695402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent breakthroughs in neuromorphic computing show that local forms of gradient descent learning are compatible with Spiking Neural Networks (SNNs) and synaptic plasticity. Although SNNs can be scalably implemented using neuromorphic VLSI, an architecture that can learn using gradient-descent in situ is still missing. In this paper, we propose a local, gradient-based, error-triggered learning algorithm with online ternary weight updates. The proposed algorithm enables online training of multi-layer SNNs with memristive neuromorphic hardware showing a small loss in the performance compared with the state of the art. We also propose a hardware architecture based on memristive crossbar arrays to perform the required vector-matrix multiplications. The necessary peripheral circuitry including pre-synaptic, post-synaptic and write circuits required for online training, have been designed in the sub-threshold regime for power saving with a standard 180 nm CMOS process.
• Abstract（参考訳）: 近年のニューロモルフィックコンピューティングのブレークスルーは、局所的な勾配降下学習がスパイクニューラルネットワーク(snn)とシナプス可塑性と互換性があることを示しています。 SNN はニューロモルフィック VLSI を用いて実装できるが、勾配差を用いた学習が可能なアーキテクチャはいまだに欠落している。 本稿では,オンライン三元重み更新を用いた局所的,勾配ベース,誤差トリガー学習アルゴリズムを提案する。 提案するアルゴリズムは,脳神経形態素ハードウェアを用いた多層snsのオンライントレーニングを可能にする。 また,必要ベクトル行列の乗算を行うために,memristive crossbar arraysに基づくハードウェアアーキテクチャを提案する。 オンライントレーニングに必要なシナプス前、シナプス後、書き込み用回路を含む周辺回路は180nmのcmosプロセスで電力節約のためのサブスレッショルド方式で設計されている。

関連論文リスト

• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Scalable Nanophotonic-Electronic Spiking Neural Networks [3.9918594409417576]
  スパイキングニューラルネットワーク(SNN)は、高度に並列化されたリアルタイム処理が可能な新しい計算パラダイムを提供する。 フォトニックデバイスは、SNN計算パラダイムに適合する高帯域並列アーキテクチャの設計に最適である。 CMOSとSiPhの併用技術はスケーラブルなSNNコンピューティングアーキテクチャの設計に適している。
  論文  参考訳（メタデータ） (2022-08-28T06:10:06Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses [1.9809266426888898]
  専用のニューロモルフィックハードウェア上でのスパイクニューラルネットワーク(RNN)のトレーニングは、依然としてオープンな課題である。 本稿では,PCMデバイスモデルに基づく差分構造アレイのシミュレーションフレームワークを提案する。 我々は,最近提案されたe-prop学習規則を用いて,提案したシミュレーションフレームワークに重みをエミュレートしたスパイクRNNを訓練する。
  論文  参考訳（メタデータ） (2021-08-04T01:24:17Z)
• In-Hardware Learning of Multilayer Spiking Neural Networks on a Neuromorphic Processor [6.816315761266531]
  この研究は、生物学的に妥当な局所更新規則を持つスパイクベースのバックプロパゲーションアルゴリズムを示し、ニューロモルフィックハードウェアの制約に適合するように適応する。 このアルゴリズムはIntel Loihiチップ上に実装されており、モバイルアプリケーション用の多層SNNの低消費電力ハードウェアによるオンライン学習を可能にする。
  論文  参考訳（メタデータ） (2021-05-08T09:22:21Z)
• Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
  本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。 具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。 我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-22T17:56:59Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。