論文の概要: An Unsupervised Spiking Neural Network Inspired By Biologically
Plausible Learning Rules and Connections
- arxiv url: http://arxiv.org/abs/2207.02727v1
- Date: Wed, 6 Jul 2022 14:53:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-07 16:59:32.873612
- Title: An Unsupervised Spiking Neural Network Inspired By Biologically
Plausible Learning Rules and Connections
- Title(参考訳): 生物学的にプラズブルな学習規則と接続に基づく教師なしスパイクニューラルネットワーク
- Authors: Yiting Dong, Dongcheng Zhao, Yang Li, Yi Zeng
- Abstract要約: 人間の脳は、自己組織的で教師なしの方法で、様々な概念知識を迅速に学習することができる。
STDPは脳内で広く学習される規則であるが、STDPだけで訓練されたスパイクニューラルネットワークは非効率であり、性能が良くない。
適応的なシナプスフィルタを導入し,SNNの表現能力を高めるために,適応しきい値バランスをニューロンの可塑性として導入する。
我々はMNISTとFashionMNISTの実験を行い、STDPに基づく現在の教師なしスパイクニューラルネットワークの最先端性能を実現した。
- 参考スコア(独自算出の注目度): 10.188771327458651
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The backpropagation algorithm has promoted the rapid development of deep
learning, but it relies on a large amount of labeled data, and there is still a
large gap with the way the human learns. The human brain can rapidly learn
various concept knowledge in a self-organized and unsupervised way, which is
accomplished through the coordination of multiple learning rules and structures
in the human brain. Spike-timing-dependent plasticity (STDP) is a widespread
learning rule in the brain, but spiking neural network trained using STDP alone
are inefficient and performs poorly. In this paper, taking inspiration from the
short-term synaptic plasticity, we design an adaptive synaptic filter, and we
introduce the adaptive threshold balance as the neuron plasticity to enrich the
representation ability of SNNs. We also introduce an adaptive lateral
inhibitory connection to dynamically adjust the spikes balance to help the
network learn richer features. To accelerate and stabilize the training of the
unsupervised spiking neural network, we design a sample temporal batch STDP
which update the weight based on multiple samples and multiple moments. We have
conducted experiments on MNIST and FashionMNIST, and have achieved
state-of-the-art performance of the current unsupervised spiking neural network
based on STDP. And our model also shows strong superiority in small samples
learning.
- Abstract(参考訳): バックプロパゲーションアルゴリズムはディープラーニングの急速な発展を促進しているが、大量のラベル付きデータに依存しており、人間の学習方法には依然として大きなギャップがある。
人間の脳は、自己組織的で教師なしの方法で様々な概念知識を迅速に学習することができ、それは、人間の脳内の複数の学習規則と構造を協調することで達成される。
スパイク刺激依存性の可塑性(STDP)は脳内で広く学習される規則であるが、STDPだけで訓練されたスパイクニューラルネットワークは非効率であり、性能が良くない。
本稿では,短期的なシナプス可塑性から着想を得て適応的なシナプスフィルタを設計し,適応しきい値バランスをニューロン可塑性として導入し,snsの表現能力を高める。
また、スパイクバランスを動的に調整し、ネットワークがよりリッチな特徴を学ぶのに役立つ適応的な側方抑制接続を導入する。
教師なしスパイキングニューラルネットワークのトレーニングを加速し,安定させるために,複数サンプルと複数モーメントに基づいて重みを更新するサンプル時間バッチSTDPを設計した。
我々はMNISTとFashionMNISTの実験を行い、STDPに基づく現在の教師なしスパイクニューラルネットワークの最先端性能を実現した。
また,本モデルでは,小サンプル学習において高い優位性を示す。
関連論文リスト
- Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳(メタデータ) (2024-01-09T07:31:34Z) - Paired Competing Neurons Improving STDP Supervised Local Learning In
Spiking Neural Networks [1.9981375888949475]
スパイキングニューラルネットワーク(SNN)は、スパイクタイミング依存塑性(STDP)のようなバイオインスパイアされた可塑性規則の恩恵を受けることができる
STDPは勾配のない教師なしの局所学習を提供しており、ニューロモルフィックなハードウェアで容易に実装できる。
教師なしSTDPを備えたSNNの分類層をトレーニングするための教師付きSTDP学習ルールである安定化STDP(S2-STDP)を提案する。
論文 参考訳(メタデータ) (2023-08-04T08:20:54Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳(メタデータ) (2022-10-10T10:05:00Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳(メタデータ) (2022-10-09T07:47:56Z) - Heterogeneous Recurrent Spiking Neural Network for Spatio-Temporal
Classification [13.521272923545409]
Spi Neural Networksは、人工知能の第3波の脳にインスパイアされた学習モデルとしてしばしば評価される。
本稿では,ビデオ認識タスクのための教師なし学習を用いたヘテロジニアススパイキングニューラルネットワーク(HRSNN)を提案する。
本研究では,時間的バックプロパゲーション訓練による教師付きSNNに類似した性能を実現することができるが,少ない計算量で実現可能であることを示す。
論文 参考訳(メタデータ) (2022-09-22T16:34:01Z) - An STDP-Based Supervised Learning Algorithm for Spiking Neural Networks [20.309112286222238]
Spiking Neural Networks (SNN)は、より生物学的に可能な脳モデルを提供する。
本稿では,Leaky Integrate-and-fire ニューロンからなる階層型 SNN に対して,Spike-Timing Dependent Plasticity (STDP) に基づく教師付き学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-07T13:40:09Z) - BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and
Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。
適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。
MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
論文 参考訳(メタデータ) (2021-05-27T08:38:31Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。