論文の概要: An Unsupervised Spiking Neural Network Inspired By Biologically
Plausible Learning Rules and Connections
- arxiv url: http://arxiv.org/abs/2207.02727v1
- Date: Wed, 6 Jul 2022 14:53:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-07 16:59:32.873612
- Title: An Unsupervised Spiking Neural Network Inspired By Biologically
Plausible Learning Rules and Connections
- Title（参考訳）: 生物学的にプラズブルな学習規則と接続に基づく教師なしスパイクニューラルネットワーク
- Authors: Yiting Dong, Dongcheng Zhao, Yang Li, Yi Zeng
- Abstract要約: 人間の脳は、自己組織的で教師なしの方法で、様々な概念知識を迅速に学習することができる。
STDPは脳内で広く学習される規則であるが、STDPだけで訓練されたスパイクニューラルネットワークは非効率であり、性能が良くない。
適応的なシナプスフィルタを導入し,SNNの表現能力を高めるために,適応しきい値バランスをニューロンの可塑性として導入する。
我々はMNISTとFashionMNISTの実験を行い、STDPに基づく現在の教師なしスパイクニューラルネットワークの最先端性能を実現した。
- 参考スコア（独自算出の注目度）: 10.188771327458651
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The backpropagation algorithm has promoted the rapid development of deep
learning, but it relies on a large amount of labeled data, and there is still a
large gap with the way the human learns. The human brain can rapidly learn
various concept knowledge in a self-organized and unsupervised way, which is
accomplished through the coordination of multiple learning rules and structures
in the human brain. Spike-timing-dependent plasticity (STDP) is a widespread
learning rule in the brain, but spiking neural network trained using STDP alone
are inefficient and performs poorly. In this paper, taking inspiration from the
short-term synaptic plasticity, we design an adaptive synaptic filter, and we
introduce the adaptive threshold balance as the neuron plasticity to enrich the
representation ability of SNNs. We also introduce an adaptive lateral
inhibitory connection to dynamically adjust the spikes balance to help the
network learn richer features. To accelerate and stabilize the training of the
unsupervised spiking neural network, we design a sample temporal batch STDP
which update the weight based on multiple samples and multiple moments. We have
conducted experiments on MNIST and FashionMNIST, and have achieved
state-of-the-art performance of the current unsupervised spiking neural network
based on STDP. And our model also shows strong superiority in small samples
learning.
- Abstract（参考訳）: バックプロパゲーションアルゴリズムはディープラーニングの急速な発展を促進しているが、大量のラベル付きデータに依存しており、人間の学習方法には依然として大きなギャップがある。
人間の脳は、自己組織的で教師なしの方法で様々な概念知識を迅速に学習することができ、それは、人間の脳内の複数の学習規則と構造を協調することで達成される。
スパイク刺激依存性の可塑性(STDP)は脳内で広く学習される規則であるが、STDPだけで訓練されたスパイクニューラルネットワークは非効率であり、性能が良くない。
本稿では,短期的なシナプス可塑性から着想を得て適応的なシナプスフィルタを設計し,適応しきい値バランスをニューロン可塑性として導入し,snsの表現能力を高める。
また、スパイクバランスを動的に調整し、ネットワークがよりリッチな特徴を学ぶのに役立つ適応的な側方抑制接続を導入する。
教師なしスパイキングニューラルネットワークのトレーニングを加速し,安定させるために,複数サンプルと複数モーメントに基づいて重みを更新するサンプル時間バッチSTDPを設計した。
我々はMNISTとFashionMNISTの実験を行い、STDPに基づく現在の教師なしスパイクニューラルネットワークの最先端性能を実現した。
また,本モデルでは,小サンプル学習において高い優位性を示す。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Context Gating in Spiking Neural Networks: Achieving Lifelong Learning through Integration of Local and Global Plasticity [20.589970453110208]
ヒトは前頭前皮質(PFC)の文脈ゲーティング機構を通じて、最小の相互干渉で連続して複数のタスクを学習する
本研究では,生涯学習のための局所可塑性規則(CG-SNN)によって訓練された文脈ゲーティングを用いたSNNを提案する。
実験により,提案モデルは過去の学習経験を維持する上で有効であり,生涯学習における他の方法よりも優れたタスク選択性を有することが示された。
論文 参考訳（メタデータ） (2024-06-04T01:35:35Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - Paired Competing Neurons Improving STDP Supervised Local Learning In Spiking Neural Networks [1.0787328610467803]
ニューロモルフィックハードウェア上でのスパイキングニューラルネットワーク(SNN)の直接トレーニングは、人工ニューラルネットワークトレーニングのエネルギー消費を大幅に削減する可能性がある。
特徴抽出のための教師なしSTDPを備えたSNNの分類層を訓練するための教師付きSTDP学習ルールである安定化STDP(S2-STDP)を提案する。
我々はPaired Competing Neurons(PCN)と呼ばれるトレーニングアーキテクチャを導入し、S2-STDPでトレーニングした分類層の学習能力をさらに強化する。
論文 参考訳（メタデータ） (2023-08-04T08:20:54Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Heterogeneous Recurrent Spiking Neural Network for Spatio-Temporal
Classification [13.521272923545409]
Spi Neural Networksは、人工知能の第3波の脳にインスパイアされた学習モデルとしてしばしば評価される。
本稿では,ビデオ認識タスクのための教師なし学習を用いたヘテロジニアススパイキングニューラルネットワーク(HRSNN)を提案する。
本研究では,時間的バックプロパゲーション訓練による教師付きSNNに類似した性能を実現することができるが,少ない計算量で実現可能であることを示す。
論文 参考訳（メタデータ） (2022-09-22T16:34:01Z) - An STDP-Based Supervised Learning Algorithm for Spiking Neural Networks [20.309112286222238]
Spiking Neural Networks (SNN)は、より生物学的に可能な脳モデルを提供する。
本稿では,Leaky Integrate-and-fire ニューロンからなる階層型 SNN に対して,Spike-Timing Dependent Plasticity (STDP) に基づく教師付き学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-07T13:40:09Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。