論文の概要: SPICEprop: Backpropagating Errors Through Memristive Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2203.01426v1
• Date: Wed, 2 Mar 2022 21:34:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-05 10:32:11.750802
• Title: SPICEprop: Backpropagating Errors Through Memristive Spiking Neural Networks
• Title（参考訳）: spiceprop: memristive spiking neural networksによるエラーのバックプロパゲーション
• Authors: Peng Zhou, Jason K. Eshraghian, Dong-Uk Choi, Sung-Mo Kang
• Abstract要約: BPTT学習規則を用いて訓練した新しい間質ニューロンからなる完全間質性スパイクニューラルネットワーク(MSNN)を提案する。 アナログSPICE回路モデルを用いて設計したMIFニューロンに直接グラディエント降下を適用する。 MNISTテストデータセットでは97.58%、Fashion-MNISTテストデータセットでは75.26%の精度で達成しています。
• 参考スコア（独自算出の注目度）: 2.8971214387667494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a fully memristive spiking neural network (MSNN) consisting of novel memristive neurons trained using the backpropagation through time (BPTT) learning rule. Gradient descent is applied directly to the memristive integrated-and-fire (MIF) neuron designed using analog SPICE circuit models, which generates distinct depolarization, hyperpolarization, and repolarization voltage waveforms. Synaptic weights are trained by BPTT using the membrane potential of the MIF neuron model and can be processed on memristive crossbars. The natural spiking dynamics of the MIF neuron model and fully differentiable, eliminating the need for gradient approximations that are prevalent in the spiking neural network literature. Despite the added complexity of training directly on SPICE circuit models, we achieve 97.58% accuracy on the MNIST testing dataset and 75.26% on the Fashion-MNIST testing dataset, the highest accuracies among all fully MSNNs.
• Abstract（参考訳）: 本稿では,バックプロパゲーション・アズ・タイム(bptt)学習規則を用いて学習した新しいmemristive neural network(msnn)を提案する。 アナログSPICE回路モデルを用いて設計した間欠的統合火災(MIF)ニューロンに直接グラディエント降下を施し, 異なる脱分極, 過分極, 再分極電圧波形を生成する。 シナプス重みはMIFニューロンモデルの膜電位を用いてBPTTによって訓練され、間欠的なクロスバーで処理できる。 mifニューロンモデルの自然なスパイキングダイナミクスは完全微分可能であり、スパイキングニューラルネットワークの文献で一般的な勾配近似の必要性をなくしている。 SPICE回路モデル上でのトレーニングの複雑さが増したが、MNISTテストデータセットでは97.58%、Fashion-MNISTテストデータセットでは75.26%の精度で達成した。

関連論文リスト

• MC-QDSNN: Quantized Deep evolutionary SNN with Multi-Dendritic Compartment Neurons for Stress Detection using Physiological Signals [1.474723404975345]
  本研究では,時系列データの効率的な処理の代替手段として,MCLeaky(Multi-Compartment Leaky)ニューロンを提案する。 提案したMCLeakyニューロンに基づくスパイキングニューラルネットワークモデルとその量子化モデルは、最先端(SOTA)スパイキングLSTMに対してベンチマークされた。 その結果、MCLeaky活性化ニューロンを持つネットワークは、98.8%の精度でストレスを検出することができた。
  論文  参考訳（メタデータ） (2024-10-07T12:48:03Z)
• Evolutionary algorithms as an alternative to backpropagation for supervised training of Biophysical Neural Networks and Neural ODEs [12.357635939839696]
  本稿では,生物物理学に基づくニューラルネットワークの学習における「段階的推定」進化アルゴリズムの利用について検討する。 EAにはいくつかのアドバンテージがあり、直接BPよりも望ましいことが分かりました。 以上の結果から,生体物理学ニューロンはBP法の限界をテストする上で有用なベンチマークを提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-17T20:59:57Z)
• WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
  ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。 本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
  論文  参考訳（メタデータ） (2023-10-25T20:34:08Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• Gradient-based Neuromorphic Learning on Dynamical RRAM Arrays [3.5969667977870796]
  我々は,完全分裂型スパイクニューラルネットワーク(MSNN)を学習するための勾配学習(MEMprop)を提案する。 本手法では, 自然に発生する電圧スパイクを発生させるために, 固有デバイスダイナミクスを利用する。 いくつかのベンチマークにおいて、以前報告した軽量高密度完全MSNN間の高い競争精度を得る。
  論文  参考訳（メタデータ） (2022-06-26T23:13:34Z)
• Voltage-Dependent Synaptic Plasticity (VDSP): Unsupervised probabilistic Hebbian plasticity rule based on neurons membrane potential [5.316910132506153]
  ニューロモルフィックハードウェア上でのHebbの可塑性機構のオンライン実装のために,脳にインスパイアされた非教師なしローカル学習ルールを提案する。 提案したVDSP学習規則はシナプス後ニューロンのスパイクにのみシナプス伝導を更新する。 MNISTデータセット上の100個の出力ニューロンのネットワークに対して85.01 $ pm $ 0.76% (Mean $ pm $ S.D.) の精度を報告した。
  論文  参考訳（メタデータ） (2022-03-21T14:39:02Z)
• Enhanced physics-constrained deep neural networks for modeling vanadium redox flow battery [62.997667081978825]
  本稿では,物理制約付き深部ニューラルネットワーク(PCDNN)による高精度電圧予測手法を提案する。 ePCDNNは、電圧放電曲線のテール領域を含む電荷放電サイクルを通して、電圧応答を正確にキャプチャすることができる。
  論文  参考訳（メタデータ） (2022-03-03T19:56:24Z)
• A Fully Memristive Spiking Neural Network with Unsupervised Learning [2.8971214387667494]
  このシステムは、神経系とシナプス系の両方のダイナミクスが、メムリスタを用いて実現可能であることを完全に理解している。 提案したMSNNは, 共振器間の電圧波形変化から, 共振器の累積重変化を用いてSTDP学習を実装した。
  論文  参考訳（メタデータ） (2022-03-02T21:16:46Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。