論文の概要: An Unsupervised STDP-based Spiking Neural Network Inspired By Biologically Plausible Learning Rules and Connections

• arxiv url: http://arxiv.org/abs/2207.02727v2
• Date: Sat, 22 Apr 2023 05:44:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-26 00:05:03.634358
• Title: An Unsupervised STDP-based Spiking Neural Network Inspired By Biologically Plausible Learning Rules and Connections
• Title（参考訳）: 生物学的に可塑性な学習規則と接続に基づく教師なしSTDPスパイキングニューラルネットワーク
• Authors: Yiting Dong, Dongcheng Zhao, Yang Li, Yi Zeng
• Abstract要約: スパイク刺激依存性可塑性(STDP)は脳の一般的な学習規則であるが、STDPだけで訓練されたスパイクニューラルネットワーク(SNN)は非効率であり、性能が良くない。 我々は適応的なシナプスフィルタを設計し、SNNの表現能力を高めるために適応的なスパイキングしきい値を導入する。 我々のモデルは、MNISTおよびFashionMNISTデータセットにおける教師なしSTDPベースのSNNの最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 10.188771327458651
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The backpropagation algorithm has promoted the rapid development of deep learning, but it relies on a large amount of labeled data and still has a large gap with how humans learn. The human brain can quickly learn various conceptual knowledge in a self-organized and unsupervised manner, accomplished through coordinating various learning rules and structures in the human brain. Spike-timing-dependent plasticity (STDP) is a general learning rule in the brain, but spiking neural networks (SNNs) trained with STDP alone is inefficient and perform poorly. In this paper, taking inspiration from short-term synaptic plasticity, we design an adaptive synaptic filter and introduce the adaptive spiking threshold as the neuron plasticity to enrich the representation ability of SNNs. We also introduce an adaptive lateral inhibitory connection to adjust the spikes balance dynamically to help the network learn richer features. To speed up and stabilize the training of unsupervised spiking neural networks, we design a samples temporal batch STDP (STB-STDP), which updates weights based on multiple samples and moments. By integrating the above three adaptive mechanisms and STB-STDP, our model greatly accelerates the training of unsupervised spiking neural networks and improves the performance of unsupervised SNNs on complex tasks. Our model achieves the current state-of-the-art performance of unsupervised STDP-based SNNs in the MNIST and FashionMNIST datasets. Further, we tested on the more complex CIFAR10 dataset, and the results fully illustrate the superiority of our algorithm. Our model is also the first work to apply unsupervised STDP-based SNNs to CIFAR10. At the same time, in the small-sample learning scenario, it will far exceed the supervised ANN using the same structure.
• Abstract（参考訳）: バックプロパゲーションアルゴリズムはディープラーニングの急速な発展を促進しているが、大量のラベル付きデータに依存しており、人間の学習方法に大きなギャップがある。 人間の脳は、人間の脳内の様々な学習規則や構造を調整することで、自己組織的で教師なしの方法で様々な概念的知識を迅速に学習することができる。 スパイク刺激依存性可塑性(STDP)は脳の一般的な学習規則であるが、STDPだけで訓練されたスパイクニューラルネットワーク(SNN)は非効率であり、性能が良くない。 本稿では,短期的なシナプス可塑性から着想を得て適応的なシナプスフィルタを設計し,適応的なスパイキング閾値をニューロン可塑性として導入し,snsの表現能力を高める。 また、スパイクバランスを動的に調整し、ネットワークがより豊かな特徴を学ぶのに役立つ適応的な側方抑制接続を導入する。 教師なしスパイクニューラルネットワークのトレーニングの高速化と安定化を目的として,複数のサンプルとモーメントに基づいて重みを更新するサンプル時間バッチSTDP(STB-STDP)を設計した。 上記の3つの適応機構とstb-stdpを統合することで,非教師付きスパイクニューラルネットワークのトレーニングを高速化し,複雑なタスクにおける教師なしsnsの性能を向上させる。 MNISTおよびFashionMNISTデータセットにおける教師なしSTDPベースのSNNの最先端性能を実現する。 さらに,より複雑なCIFAR10データセットを検証した結果,アルゴリズムの優位性を十分に示している。 我々のモデルは、教師なしSTDPベースのSNNをCIFAR10に適用する最初の試みでもある。 同時に、小さなサンプル学習シナリオでは、同じ構造を用いる教師付きANNをはるかに超えます。

関連論文リスト

• Context Gating in Spiking Neural Networks: Achieving Lifelong Learning through Integration of Local and Global Plasticity [20.589970453110208]
  ヒトは前頭前皮質(PFC)の文脈ゲーティング機構を通じて、最小の相互干渉で連続して複数のタスクを学習する 本研究では,生涯学習のための局所可塑性規則(CG-SNN)によって訓練された文脈ゲーティングを用いたSNNを提案する。 実験により,提案モデルは過去の学習経験を維持する上で有効であり,生涯学習における他の方法よりも優れたタスク選択性を有することが示された。
  論文  参考訳（メタデータ） (2024-06-04T01:35:35Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Paired Competing Neurons Improving STDP Supervised Local Learning In Spiking Neural Networks [1.0787328610467803]
  ニューロモルフィックハードウェア上でのスパイキングニューラルネットワーク(SNN)の直接トレーニングは、人工ニューラルネットワークトレーニングのエネルギー消費を大幅に削減する可能性がある。 特徴抽出のための教師なしSTDPを備えたSNNの分類層を訓練するための教師付きSTDP学習ルールである安定化STDP(S2-STDP)を提案する。 我々はPaired Competing Neurons(PCN)と呼ばれるトレーニングアーキテクチャを導入し、S2-STDPでトレーニングした分類層の学習能力をさらに強化する。
  論文  参考訳（メタデータ） (2023-08-04T08:20:54Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Heterogeneous Recurrent Spiking Neural Network for Spatio-Temporal Classification [13.521272923545409]
  Spi Neural Networksは、人工知能の第3波の脳にインスパイアされた学習モデルとしてしばしば評価される。 本稿では,ビデオ認識タスクのための教師なし学習を用いたヘテロジニアススパイキングニューラルネットワーク(HRSNN)を提案する。 本研究では,時間的バックプロパゲーション訓練による教師付きSNNに類似した性能を実現することができるが,少ない計算量で実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-09-22T16:34:01Z)
• An STDP-Based Supervised Learning Algorithm for Spiking Neural Networks [20.309112286222238]
  Spiking Neural Networks (SNN)は、より生物学的に可能な脳モデルを提供する。 本稿では,Leaky Integrate-and-fire ニューロンからなる階層型 SNN に対して,Spike-Timing Dependent Plasticity (STDP) に基づく教師付き学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-07T13:40:09Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。