論文の概要: Gradient-based Neuromorphic Learning on Dynamical RRAM Arrays
- arxiv url: http://arxiv.org/abs/2206.12992v1
- Date: Sun, 26 Jun 2022 23:13:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-29 04:32:19.255119
- Title: Gradient-based Neuromorphic Learning on Dynamical RRAM Arrays
- Title（参考訳）: 動的RRAMアレイの勾配に基づくニューロモルフィック学習
- Authors: Peng Zhou, Jason K. Eshraghian, Dong-Uk Choi, Wei D. Lu, Sung-Mo Kang
- Abstract要約: 我々は,完全分裂型スパイクニューラルネットワーク(MSNN)を学習するための勾配学習(MEMprop)を提案する。
本手法では, 自然に発生する電圧スパイクを発生させるために, 固有デバイスダイナミクスを利用する。
いくつかのベンチマークにおいて、以前報告した軽量高密度完全MSNN間の高い競争精度を得る。
- 参考スコア（独自算出の注目度）: 3.5969667977870796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present MEMprop, the adoption of gradient-based learning to train fully
memristive spiking neural networks (MSNNs). Our approach harnesses intrinsic
device dynamics to trigger naturally arising voltage spikes. These spikes
emitted by memristive dynamics are analog in nature, and thus fully
differentiable, which eliminates the need for surrogate gradient methods that
are prevalent in the spiking neural network (SNN) literature. Memristive neural
networks typically either integrate memristors as synapses that map
offline-trained networks, or otherwise rely on associative learning mechanisms
to train networks of memristive neurons. We instead apply the backpropagation
through time (BPTT) training algorithm directly on analog SPICE models of
memristive neurons and synapses. Our implementation is fully memristive, in
that synaptic weights and spiking neurons are both integrated on resistive RAM
(RRAM) arrays without the need for additional circuits to implement spiking
dynamics, e.g., analog-to-digital converters (ADCs) or thresholded comparators.
As a result, higher-order electrophysical effects are fully exploited to use
the state-driven dynamics of memristive neurons at run time. By moving towards
non-approximate gradient-based learning, we obtain highly competitive accuracy
amongst previously reported lightweight dense fully MSNNs on several
benchmarks.
- Abstract（参考訳）: 本稿では,MSNNを学習するための勾配に基づく学習法であるMEMpropを提案する。
本手法は,自然発生する電圧スパイクを誘発するために,内在的なデバイスダイナミクスを利用する。
これらのスパイクは本質的にアナログであり、完全に微分可能であり、スパイキングニューラルネットワーク (snn) の文献に広く見られる代理勾配法の必要性をなくす。
メムリシブニューラルネットワークは通常、オフラインで訓練されたネットワークをマッピングするシナプスとしてメムリスタを統合するか、あるいはそれ以外は、メムリシブニューロンのネットワークをトレーニングするための連想学習機構に依存する。
代わりに、バックプロパゲーション・アズ・タイム(bptt)のトレーニングアルゴリズムを、memristive neurons and synapsesのアナログスパイスモデルに直接適用する。
我々の実装は、シナプス重みとスパイクニューロンはいずれも抵抗性RAM(RRAM)アレイに統合され、アナログ・デジタルコンバータ(ADC)や閾値コンパレータなどのスパイキングダイナミクスを実装するための追加回路を必要としない。
結果として、高次電気物理効果は、実行時の分裂ニューロンの状態駆動力学を利用するために完全に活用される。
複数のベンチマークにおいて,非近似勾配に基づく学習へ移行することにより,従来報告されていた高密度完全MSNN間の高い競争精度が得られる。
関連論文リスト
- Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳（メタデータ） (2024-02-26T15:01:54Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - Neuromorphic Hebbian learning with magnetic tunnel junction synapses [41.92764939721262]
磁気トンネル接合(MTJ)の双対抵抗状態による高精度推論を実現するニューロモルフィックネットワークの提案と実験的検討を行った。
MTJシナプスで直接実装したニューロモルフィックネットワークの最初の実演を行った。
また,STT-MTJシナプスを用いた非教師型ヘビアン学習システムにより,MNIST手書き文字認識の競争精度が向上できることをシミュレーションにより実証した。
論文 参考訳（メタデータ） (2023-08-21T19:58:44Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - SPICEprop: Backpropagating Errors Through Memristive Spiking Neural
Networks [2.8971214387667494]
BPTT学習規則を用いて訓練した新しい間質ニューロンからなる完全間質性スパイクニューラルネットワーク(MSNN)を提案する。
アナログSPICE回路モデルを用いて設計したMIFニューロンに直接グラディエント降下を適用する。
MNISTテストデータセットでは97.58%、Fashion-MNISTテストデータセットでは75.26%の精度で達成しています。
論文 参考訳（メタデータ） (2022-03-02T21:34:43Z) - A Fully Memristive Spiking Neural Network with Unsupervised Learning [2.8971214387667494]
このシステムは、神経系とシナプス系の両方のダイナミクスが、メムリスタを用いて実現可能であることを完全に理解している。
提案したMSNNは, 共振器間の電圧波形変化から, 共振器の累積重変化を用いてSTDP学習を実装した。
論文 参考訳（メタデータ） (2022-03-02T21:16:46Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳（メタデータ） (2020-06-02T23:38:35Z) - Structural plasticity on an accelerated analog neuromorphic hardware
system [0.46180371154032884]
我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。
我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。
ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
論文 参考訳（メタデータ） (2019-12-27T10:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。