論文の概要: Paired Competing Neurons Improving STDP Supervised Local Learning In Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2308.02194v1
• Date: Fri, 4 Aug 2023 08:20:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-07 13:31:50.877755
• Title: Paired Competing Neurons Improving STDP Supervised Local Learning In Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークの局所学習を改良したペア競合ニューロン
• Authors: Gaspard Goupy, Pierre Tirilly, Ioan Marius Bilasco
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、スパイクタイミング依存塑性(STDP)のようなバイオインスパイアされた可塑性規則の恩恵を受けることができる STDPは勾配のない教師なしの局所学習を提供しており、ニューロモルフィックなハードウェアで容易に実装できる。 教師なしSTDPを備えたSNNの分類層をトレーニングするための教師付きSTDP学習ルールである安定化STDP(S2-STDP)を提案する。
• 参考スコア（独自算出の注目度）: 1.9981375888949475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Direct training of Spiking Neural Networks (SNNs) on neuromorphic hardware has the potential to significantly reduce the high energy consumption of Artificial Neural Networks (ANNs) training on modern computers. The biological plausibility of SNNs allows them to benefit from bio-inspired plasticity rules, such as Spike Timing-Dependent Plasticity (STDP). STDP offers gradient-free and unsupervised local learning, which can be easily implemented on neuromorphic hardware. However, relying solely on unsupervised STDP to perform classification tasks is not enough. In this paper, we propose Stabilized Supervised STDP (S2-STDP), a supervised STDP learning rule to train the classification layer of an SNN equipped with unsupervised STDP. S2-STDP integrates error-modulated weight updates that align neuron spikes with desired timestamps derived from the average firing time within the layer. Then, we introduce a training architecture called Paired Competing Neurons (PCN) to further enhance the learning capabilities of our classification layer trained with S2-STDP. PCN associates each class with paired neurons and encourages neuron specialization through intra-class competition. We evaluated our proposed methods on image recognition datasets, including MNIST, Fashion-MNIST, and CIFAR-10. Results showed that our methods outperform current supervised STDP-based state of the art, for comparable architectures and numbers of neurons. Also, the use of PCN enhances the performance of S2-STDP, regardless of the configuration, and without introducing any hyperparameters.Further analysis demonstrated that our methods exhibited improved hyperparameter robustness, which reduces the need for tuning.
• Abstract（参考訳）: ニューロモルフィックハードウェアを用いたスパイクニューラルネットワーク(snn)の直接トレーニングは、現代のコンピュータにおける人工ニューラルネットワーク(anns)トレーニングの高エネルギー消費を大幅に削減する可能性がある。 SNNの生物学的妥当性は、スパイク・タイピング・依存塑性(STDP)のようなバイオインスパイアされた可塑性規則の恩恵を受けることができる。 STDPは勾配のない教師なしの局所学習を提供し、ニューロモルフィックハードウェアで容易に実装できる。 しかし、教師なしSTDPにのみ依存して分類処理を行うだけでは不十分である。 本稿では、教師なしSTDPを備えたSNNの分類層をトレーニングするための教師付きSTDP学習ルールである安定化STDP(S2-STDP)を提案する。 S2-STDPは、神経細胞スパイクを層内の平均発射時間に由来する所望のタイムスタンプと整列するエラー変調重み更新を統合する。 そこで,我々はPaired Competing Neurons (PCN) と呼ばれる学習アーキテクチャを導入し,S2-STDPで訓練した分類層の学習能力をさらに向上させる。 PCNは各クラスとペアニューロンを関連付け、クラス内競争を通じてニューロンの特殊化を促進する。 提案手法は,MNIST,Fashion-MNIST,CIFAR-10などの画像認識データセットに対して評価を行った。 以上の結果から,本手法は現在のSTDPベース技術よりも優れた性能を示し,同程度のアーキテクチャとニューロン数を示した。 また,pcnの使用により,構成にかかわらずs2-stdpの性能が向上し,ハイパーパラメータを導入することなく性能が向上した。

関連論文リスト

• Fractional-order spike-timing-dependent gradient descent for multi-layer spiking neural networks [18.142378139047977]
  本稿では,数次スパイクタイピング依存勾配勾配(FOSTDGD)学習モデルを提案する。 TheNISTとDVS128 Gestureデータセットでテストし、その精度を異なるネットワーク構造と分数順序で分析する。
  論文  参考訳（メタデータ） (2024-10-20T05:31:34Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• An Unsupervised STDP-based Spiking Neural Network Inspired By Biologically Plausible Learning Rules and Connections [10.188771327458651]
  スパイク刺激依存性可塑性(STDP)は脳の一般的な学習規則であるが、STDPだけで訓練されたスパイクニューラルネットワーク(SNN)は非効率であり、性能が良くない。 我々は適応的なシナプスフィルタを設計し、SNNの表現能力を高めるために適応的なスパイキングしきい値を導入する。 我々のモデルは、MNISTおよびFashionMNISTデータセットにおける教師なしSTDPベースのSNNの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-06T14:53:32Z)
• An STDP-Based Supervised Learning Algorithm for Spiking Neural Networks [20.309112286222238]
  Spiking Neural Networks (SNN)は、より生物学的に可能な脳モデルを提供する。 本稿では,Leaky Integrate-and-fire ニューロンからなる階層型 SNN に対して,Spike-Timing Dependent Plasticity (STDP) に基づく教師付き学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-07T13:40:09Z)
• FSpiNN: An Optimization Framework for Memory- and Energy-Efficient Spiking Neural Networks [14.916996986290902]
  スパイキングニューラルネットワーク(SNN)は、スパイクタイピング依存の可塑性(STDP)ルールのために教師なし学習機能を提供する。 しかし、最先端のSNNは高い精度を達成するために大きなメモリフットプリントを必要とする。 トレーニングおよび推論処理のためのメモリ効率とエネルギー効率のよいSNNを得るための最適化フレームワークFSpiNNを提案する。
  論文  参考訳（メタデータ） (2020-07-17T09:40:26Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。