論文の概要: Paired Competing Neurons Improving STDP Supervised Local Learning In Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2308.02194v2
- Date: Sat, 27 Apr 2024 11:01:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 01:14:26.059460
- Title: Paired Competing Neurons Improving STDP Supervised Local Learning In Spiking Neural Networks
- Title（参考訳）: スパイクニューラルネットワークの局所学習を改良したペア競合ニューロン
- Authors: Gaspard Goupy, Pierre Tirilly, Ioan Marius Bilasco,
- Abstract要約: ニューロモルフィックハードウェア上でのスパイキングニューラルネットワーク(SNN)の直接トレーニングは、人工ニューラルネットワークトレーニングのエネルギー消費を大幅に削減する可能性がある。
特徴抽出のための教師なしSTDPを備えたSNNの分類層を訓練するための教師付きSTDP学習ルールである安定化STDP(S2-STDP)を提案する。
我々はPaired Competing Neurons(PCN)と呼ばれるトレーニングアーキテクチャを導入し、S2-STDPでトレーニングした分類層の学習能力をさらに強化する。
- 参考スコア（独自算出の注目度）: 1.0787328610467803
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Direct training of Spiking Neural Networks (SNNs) on neuromorphic hardware has the potential to significantly reduce the energy consumption of artificial neural network training. SNNs trained with Spike Timing-Dependent Plasticity (STDP) benefit from gradient-free and unsupervised local learning, which can be easily implemented on ultra-low-power neuromorphic hardware. However, classification tasks cannot be performed solely with unsupervised STDP. In this paper, we propose Stabilized Supervised STDP (S2-STDP), a supervised STDP learning rule to train the classification layer of an SNN equipped with unsupervised STDP for feature extraction. S2-STDP integrates error-modulated weight updates that align neuron spikes with desired timestamps derived from the average firing time within the layer. Then, we introduce a training architecture called Paired Competing Neurons (PCN) to further enhance the learning capabilities of our classification layer trained with S2-STDP. PCN associates each class with paired neurons and encourages neuron specialization toward target or non-target samples through intra-class competition. We evaluate our methods on image recognition datasets, including MNIST, Fashion-MNIST, and CIFAR-10. Results show that our methods outperform state-of-the-art supervised STDP learning rules, for comparable architectures and numbers of neurons. Further analysis demonstrates that the use of PCN enhances the performance of S2-STDP, regardless of the hyperparameter set and without introducing any additional hyperparameters.
- Abstract（参考訳）: ニューロモルフィックハードウェア上でのスパイキングニューラルネットワーク(SNN)の直接トレーニングは、人工ニューラルネットワークトレーニングのエネルギー消費を大幅に削減する可能性がある。
Spike Timing-Dependent Plasticity (STDP)でトレーニングされたSNNは、超低消費電力のニューロモルフィックハードウェアで容易に実装できる、勾配のない、教師なしのローカルラーニングの恩恵を受ける。
しかし、分類タスクは教師なしSTDPだけでは実行できない。
本稿では,機能抽出のための教師なしSTDPを備えたSNNの分類層をトレーニングするための教師付きSTDP学習ルールである安定化STDP(S2-STDP)を提案する。
S2-STDPは、神経細胞スパイクを層内の平均発射時間に由来する所望のタイムスタンプと整列するエラー変調重み更新を統合する。
そこで,我々はPaired Competing Neurons (PCN) と呼ばれる学習アーキテクチャを導入し,S2-STDPで訓練した分類層の学習能力をさらに向上させる。
PCNは、各クラスとペアのニューロンを関連付け、クラス内競争を通じて標的または非標的標本に対するニューロンの特殊化を促進する。
我々は,MNIST,Fashion-MNIST,CIFAR-10などの画像認識データセットについて評価を行った。
以上の結果から,本手法は最先端の教師付きSTDP学習規則よりも優れたアーキテクチャとニューロン数を示すことがわかった。
さらに分析した結果,PCN を用いることで,S2-STDP の性能が向上することが明らかとなった。
関連論文リスト
- Fractional-order spike-timing-dependent gradient descent for multi-layer spiking neural networks [18.142378139047977]
本稿では,数次スパイクタイピング依存勾配勾配(FOSTDGD)学習モデルを提案する。
TheNISTとDVS128 Gestureデータセットでテストし、その精度を異なるネットワーク構造と分数順序で分析する。
論文 参考訳（メタデータ） (2024-10-20T05:31:34Z) - Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - An Unsupervised STDP-based Spiking Neural Network Inspired By
Biologically Plausible Learning Rules and Connections [10.188771327458651]
スパイク刺激依存性可塑性(STDP)は脳の一般的な学習規則であるが、STDPだけで訓練されたスパイクニューラルネットワーク(SNN)は非効率であり、性能が良くない。
我々は適応的なシナプスフィルタを設計し、SNNの表現能力を高めるために適応的なスパイキングしきい値を導入する。
我々のモデルは、MNISTおよびFashionMNISTデータセットにおける教師なしSTDPベースのSNNの最先端性能を実現する。
論文 参考訳（メタデータ） (2022-07-06T14:53:32Z) - An STDP-Based Supervised Learning Algorithm for Spiking Neural Networks [20.309112286222238]
Spiking Neural Networks (SNN)は、より生物学的に可能な脳モデルを提供する。
本稿では,Leaky Integrate-and-fire ニューロンからなる階層型 SNN に対して,Spike-Timing Dependent Plasticity (STDP) に基づく教師付き学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-07T13:40:09Z) - FSpiNN: An Optimization Framework for Memory- and Energy-Efficient
Spiking Neural Networks [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパイクタイピング依存の可塑性(STDP)ルールのために教師なし学習機能を提供する。
しかし、最先端のSNNは高い精度を達成するために大きなメモリフットプリントを必要とする。
トレーニングおよび推論処理のためのメモリ効率とエネルギー効率のよいSNNを得るための最適化フレームワークFSpiNNを提案する。
論文 参考訳（メタデータ） (2020-07-17T09:40:26Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。