論文の概要: Voltage-Dependent Synaptic Plasticity (VDSP): Unsupervised probabilistic
Hebbian plasticity rule based on neurons membrane potential
- arxiv url: http://arxiv.org/abs/2203.11022v1
- Date: Mon, 21 Mar 2022 14:39:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 18:06:14.724123
- Title: Voltage-Dependent Synaptic Plasticity (VDSP): Unsupervised probabilistic
Hebbian plasticity rule based on neurons membrane potential
- Title（参考訳）: 電圧依存シナプス可塑性(vdsp) : ニューロン膜電位に基づく非教師付き確率的ヘビアン可塑性則
- Authors: Nikhil Garg, Ismael Balafrej, Terrence C. Stewart, Jean Michel Portal,
Marc Bocquet, Damien Querlioz, Dominique Drouin, Jean Rouat, Yann Beilliard,
Fabien Alibart
- Abstract要約: ニューロモルフィックハードウェア上でのHebbの可塑性機構のオンライン実装のために,脳にインスパイアされた非教師なしローカル学習ルールを提案する。
提案したVDSP学習規則はシナプス後ニューロンのスパイクにのみシナプス伝導を更新する。
MNISTデータセット上の100個の出力ニューロンのネットワークに対して85.01 $ pm $ 0.76% (Mean $ pm $ S.D.) の精度を報告した。
- 参考スコア（独自算出の注目度）: 5.316910132506153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study proposes voltage-dependent-synaptic plasticity (VDSP), a novel
brain-inspired unsupervised local learning rule for the online implementation
of Hebb's plasticity mechanism on neuromorphic hardware. The proposed VDSP
learning rule updates the synaptic conductance on the spike of the postsynaptic
neuron only, which reduces by a factor of two the number of updates with
respect to standard spike-timing-dependent plasticity (STDP). This update is
dependent on the membrane potential of the presynaptic neuron, which is readily
available as part of neuron implementation and hence does not require
additional memory for storage. Moreover, the update is also regularized on
synaptic weight and prevents explosion or vanishing of weights on repeated
stimulation. Rigorous mathematical analysis is performed to draw an equivalence
between VDSP and STDP. To validate the system-level performance of VDSP, we
train a single-layer spiking neural network (SNN) for the recognition of
handwritten digits. We report 85.01 $ \pm $ 0.76% (Mean $ \pm $ S.D.) accuracy
for a network of 100 output neurons on the MNIST dataset. The performance
improves when scaling the network size (89.93 $ \pm $ 0.41% for 400 output
neurons, 90.56 $ \pm $ 0.27 for 500 neurons), which validates the applicability
of the proposed learning rule for large-scale computer vision tasks.
Interestingly, the learning rule better adapts than STDP to the frequency of
input signal and does not require hand-tuning of hyperparameters.
- Abstract（参考訳）: 本研究は,ニューロモルフィックハードウェア上でのhebbの可塑性機構のオンライン実装のための,新しい脳インスパイア非教師なし局所学習規則であるvdspを提案する。
提案したVDSP学習規則はシナプス後ニューロンのスパイクのみのシナプス伝導を更新し、標準的なスパイク刺激依存性可塑性(STDP)に対する2つの更新数を減少させる。
この更新はシナプス前ニューロンの膜電位に依存しており、ニューロンの実装の一部として容易に利用でき、記憶のための追加記憶を必要としない。
さらに、更新はシナプス重みにも規則化され、繰り返し刺激による重みの爆発や消失を防止する。
VDSPとSTDPの等価性を引き出すために厳密な数学的解析を行う。
VDSPのシステムレベルの性能を検証するため,手書き桁認識のための単層スパイキングニューラルネットワーク(SNN)を訓練する。
MNISTデータセット上の100個の出力ニューロンのネットワークに対して85.01 $ \pm $ 0.76%(Mean $ \pm $ S.D.)の精度を報告した。
ネットワークサイズ(400個の出力ニューロンで89.93 $ \pm $ 0.41%、500個のニューロンで90.56 $ \pm $ 0.27)のスケーリングでは、大規模コンピュータビジョンタスクで提案された学習規則の適用性を検証する。
興味深いことに、学習規則は入力信号の周波数にSTDPよりも適応し、ハイパーパラメータのハンドチューニングを必要としない。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Synchronized Stepwise Control of Firing and Learning Thresholds in a Spiking Randomly Connected Neural Network toward Hardware Implementation [0.0]
固有可塑性(IP)とシナプス可塑性(SP)のハードウェア指向モデルを提案する。
心電図を用いたスパイキングRNNによる時間的データ学習と異常検出のシミュレーションにより,本モデルの有効性を実証する。
論文 参考訳（メタデータ） (2024-04-26T08:26:10Z) - Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳（メタデータ） (2024-02-26T15:01:54Z) - WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。
本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。
WaLiN-GUIはオープンソースとドキュメントが提供されている。
論文 参考訳（メタデータ） (2023-10-25T20:34:08Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Synaptic Stripping: How Pruning Can Bring Dead Neurons Back To Life [0.0]
我々は、致命的な神経細胞問題に対処する手段として、シナプスストリッピングを導入する。
トレーニング中に問題のある接続を自動的に取り除くことで、死んだ神経細胞を再生することができる。
我々は,ネットワーク幅と深さの関数として,これらのダイナミクスを研究するために,いくつかのアブレーション研究を行っている。
論文 参考訳（メタデータ） (2023-02-11T23:55:50Z) - Gradient-based Neuromorphic Learning on Dynamical RRAM Arrays [3.5969667977870796]
我々は,完全分裂型スパイクニューラルネットワーク(MSNN)を学習するための勾配学習(MEMprop)を提案する。
本手法では, 自然に発生する電圧スパイクを発生させるために, 固有デバイスダイナミクスを利用する。
いくつかのベンチマークにおいて、以前報告した軽量高密度完全MSNN間の高い競争精度を得る。
論文 参考訳（メタデータ） (2022-06-26T23:13:34Z) - A Fully Memristive Spiking Neural Network with Unsupervised Learning [2.8971214387667494]
このシステムは、神経系とシナプス系の両方のダイナミクスが、メムリスタを用いて実現可能であることを完全に理解している。
提案したMSNNは, 共振器間の電圧波形変化から, 共振器の累積重変化を用いてSTDP学習を実装した。
論文 参考訳（メタデータ） (2022-03-02T21:16:46Z) - Improving Spiking Neural Network Accuracy Using Time-based Neurons [0.24366811507669117]
アナログニューロンを用いた低消費電力スパイクニューラルネットワークに基づくニューロモルフィックコンピューティングシステムの研究が注目されている。
技術のスケールダウンに伴い、アナログニューロンはスケールが難しく、電圧ヘッドルーム/ダイナミックレンジの減少と回路の非線形性に悩まされる。
本稿では,28nmプロセスで設計した既存の電流ミラー型電圧ドメインニューロンの非線形挙動をモデル化し,ニューロンの非線形性の影響によりSNN推定精度を著しく劣化させることができることを示す。
本稿では,時間領域のスパイクを処理し,線形性を大幅に向上させる新しいニューロンを提案する。
論文 参考訳（メタデータ） (2022-01-05T00:24:45Z) - Flexible Transmitter Network [84.90891046882213]
現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。
本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。
本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
論文 参考訳（メタデータ） (2020-04-08T06:55:12Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。