論文の概要: Voltage-Dependent Synaptic Plasticity (VDSP): Unsupervised probabilistic
Hebbian plasticity rule based on neurons membrane potential
- arxiv url: http://arxiv.org/abs/2203.11022v1
- Date: Mon, 21 Mar 2022 14:39:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 18:06:14.724123
- Title: Voltage-Dependent Synaptic Plasticity (VDSP): Unsupervised probabilistic
Hebbian plasticity rule based on neurons membrane potential
- Title(参考訳): 電圧依存シナプス可塑性(vdsp) : ニューロン膜電位に基づく非教師付き確率的ヘビアン可塑性則
- Authors: Nikhil Garg, Ismael Balafrej, Terrence C. Stewart, Jean Michel Portal,
Marc Bocquet, Damien Querlioz, Dominique Drouin, Jean Rouat, Yann Beilliard,
Fabien Alibart
- Abstract要約: ニューロモルフィックハードウェア上でのHebbの可塑性機構のオンライン実装のために,脳にインスパイアされた非教師なしローカル学習ルールを提案する。
提案したVDSP学習規則はシナプス後ニューロンのスパイクにのみシナプス伝導を更新する。
MNISTデータセット上の100個の出力ニューロンのネットワークに対して85.01 $ pm $ 0.76% (Mean $ pm $ S.D.) の精度を報告した。
- 参考スコア(独自算出の注目度): 5.316910132506153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study proposes voltage-dependent-synaptic plasticity (VDSP), a novel
brain-inspired unsupervised local learning rule for the online implementation
of Hebb's plasticity mechanism on neuromorphic hardware. The proposed VDSP
learning rule updates the synaptic conductance on the spike of the postsynaptic
neuron only, which reduces by a factor of two the number of updates with
respect to standard spike-timing-dependent plasticity (STDP). This update is
dependent on the membrane potential of the presynaptic neuron, which is readily
available as part of neuron implementation and hence does not require
additional memory for storage. Moreover, the update is also regularized on
synaptic weight and prevents explosion or vanishing of weights on repeated
stimulation. Rigorous mathematical analysis is performed to draw an equivalence
between VDSP and STDP. To validate the system-level performance of VDSP, we
train a single-layer spiking neural network (SNN) for the recognition of
handwritten digits. We report 85.01 $ \pm $ 0.76% (Mean $ \pm $ S.D.) accuracy
for a network of 100 output neurons on the MNIST dataset. The performance
improves when scaling the network size (89.93 $ \pm $ 0.41% for 400 output
neurons, 90.56 $ \pm $ 0.27 for 500 neurons), which validates the applicability
of the proposed learning rule for large-scale computer vision tasks.
Interestingly, the learning rule better adapts than STDP to the frequency of
input signal and does not require hand-tuning of hyperparameters.
- Abstract(参考訳): 本研究は,ニューロモルフィックハードウェア上でのhebbの可塑性機構のオンライン実装のための,新しい脳インスパイア非教師なし局所学習規則であるvdspを提案する。
提案したVDSP学習規則はシナプス後ニューロンのスパイクのみのシナプス伝導を更新し、標準的なスパイク刺激依存性可塑性(STDP)に対する2つの更新数を減少させる。
この更新はシナプス前ニューロンの膜電位に依存しており、ニューロンの実装の一部として容易に利用でき、記憶のための追加記憶を必要としない。
さらに、更新はシナプス重みにも規則化され、繰り返し刺激による重みの爆発や消失を防止する。
VDSPとSTDPの等価性を引き出すために厳密な数学的解析を行う。
VDSPのシステムレベルの性能を検証するため,手書き桁認識のための単層スパイキングニューラルネットワーク(SNN)を訓練する。
MNISTデータセット上の100個の出力ニューロンのネットワークに対して85.01 $ \pm $ 0.76%(Mean $ \pm $ S.D.)の精度を報告した。
ネットワークサイズ(400個の出力ニューロンで89.93 $ \pm $ 0.41%、500個のニューロンで90.56 $ \pm $ 0.27)のスケーリングでは、大規模コンピュータビジョンタスクで提案された学習規則の適用性を検証する。
興味深いことに、学習規則は入力信号の周波数にSTDPよりも適応し、ハイパーパラメータのハンドチューニングを必要としない。
関連論文リスト
- Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳(メタデータ) (2024-02-26T15:01:54Z) - WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。
本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。
WaLiN-GUIはオープンソースとドキュメントが提供されている。
論文 参考訳(メタデータ) (2023-10-25T20:34:08Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Synaptic Stripping: How Pruning Can Bring Dead Neurons Back To Life [0.0]
我々は、致命的な神経細胞問題に対処する手段として、シナプスストリッピングを導入する。
トレーニング中に問題のある接続を自動的に取り除くことで、死んだ神経細胞を再生することができる。
我々は,ネットワーク幅と深さの関数として,これらのダイナミクスを研究するために,いくつかのアブレーション研究を行っている。
論文 参考訳(メタデータ) (2023-02-11T23:55:50Z) - Gradient-based Neuromorphic Learning on Dynamical RRAM Arrays [3.5969667977870796]
我々は,完全分裂型スパイクニューラルネットワーク(MSNN)を学習するための勾配学習(MEMprop)を提案する。
本手法では, 自然に発生する電圧スパイクを発生させるために, 固有デバイスダイナミクスを利用する。
いくつかのベンチマークにおいて、以前報告した軽量高密度完全MSNN間の高い競争精度を得る。
論文 参考訳(メタデータ) (2022-06-26T23:13:34Z) - A Fully Memristive Spiking Neural Network with Unsupervised Learning [2.8971214387667494]
このシステムは、神経系とシナプス系の両方のダイナミクスが、メムリスタを用いて実現可能であることを完全に理解している。
提案したMSNNは, 共振器間の電圧波形変化から, 共振器の累積重変化を用いてSTDP学習を実装した。
論文 参考訳(メタデータ) (2022-03-02T21:16:46Z) - Improving Spiking Neural Network Accuracy Using Time-based Neurons [0.24366811507669117]
アナログニューロンを用いた低消費電力スパイクニューラルネットワークに基づくニューロモルフィックコンピューティングシステムの研究が注目されている。
技術のスケールダウンに伴い、アナログニューロンはスケールが難しく、電圧ヘッドルーム/ダイナミックレンジの減少と回路の非線形性に悩まされる。
本稿では,28nmプロセスで設計した既存の電流ミラー型電圧ドメインニューロンの非線形挙動をモデル化し,ニューロンの非線形性の影響によりSNN推定精度を著しく劣化させることができることを示す。
本稿では,時間領域のスパイクを処理し,線形性を大幅に向上させる新しいニューロンを提案する。
論文 参考訳(メタデータ) (2022-01-05T00:24:45Z) - Compiling Spiking Neural Networks to Mitigate Neuromorphic Hardware
Constraints [0.30458514384586394]
スパイキングニューラルネットワーク(SNN)は、資源制約と電力制約のあるプラットフォーム上での計算制約付きパターン認識を効率的に行う。
ニューロモルフィックハードウェア上で実行されるSNNは、これらのプラットフォームのエネルギー消費をさらに削減することができる。
論文 参考訳(メタデータ) (2020-11-27T19:10:23Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳(メタデータ) (2020-11-12T06:06:33Z) - Flexible Transmitter Network [84.90891046882213]
現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。
本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。
本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
論文 参考訳(メタデータ) (2020-04-08T06:55:12Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。