論文の概要: PC-SNN: Supervised Learning with Local Hebbian Synaptic Plasticity based
on Predictive Coding in Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2211.15386v1
- Date: Thu, 24 Nov 2022 09:56:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 16:43:01.367197
- Title: PC-SNN: Supervised Learning with Local Hebbian Synaptic Plasticity based
on Predictive Coding in Spiking Neural Networks
- Title（参考訳）: PC-SNN:スパイクニューラルネットワークにおける予測符号化に基づく局所ヘビーンのシナプス塑性を用いた教師付き学習
- Authors: Mengting Lan, Xiaogang Xiong, Zixuan Jiang, Yunjiang Lou
- Abstract要約: 本稿では,予測符号化理論に触発された新しい学習アルゴリズムを提案する。
教師あり学習を完全自律的に行うことができ、バックプロップとして成功することを示す。
この手法は,最先端の多層SNNと比較して,良好な性能を実現する。
- 参考スコア（独自算出の注目度）: 1.6172800007896282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deemed as the third generation of neural networks, the event-driven Spiking
Neural Networks(SNNs) combined with bio-plausible local learning rules make it
promising to build low-power, neuromorphic hardware for SNNs. However, because
of the non-linearity and discrete property of spiking neural networks, the
training of SNN remains difficult and is still under discussion. Originating
from gradient descent, backprop has achieved stunning success in multi-layer
SNNs. Nevertheless, it is assumed to lack biological plausibility, while
consuming relatively high computational resources. In this paper, we propose a
novel learning algorithm inspired by predictive coding theory and show that it
can perform supervised learning fully autonomously and successfully as the
backprop, utilizing only local Hebbian plasticity. Furthermore, this method
achieves a favorable performance compared to the state-of-the-art multi-layer
SNNs: test accuracy of 99.25% for the Caltech Face/Motorbike dataset, 84.25%
for the ETH-80 dataset, 98.1% for the MNIST dataset and 98.5% for the
neuromorphic dataset: N-MNIST. Furthermore, our work provides a new perspective
on how supervised learning algorithms are directly implemented in spiking
neural circuitry, which may give some new insights into neuromorphological
calculation in neuroscience.
- Abstract（参考訳）: 第3世代のニューラルネットワークと見なされ、イベント駆動のSpking Neural Networks(SNN)と生物工学的な局所学習ルールを組み合わせることで、SNNのための低消費電力でニューロモルフィックなハードウェアを構築することを約束している。
しかし、スパイクニューラルネットワークの非線形性と離散性のため、SNNの訓練は依然として困難であり、現在も議論が続いている。
勾配降下から派生したバックプロップは、多層SNNにおいて驚くべき成功を収めた。
それにもかかわらず、比較的高い計算資源を消費しながら、生物学的な可能性に欠けると考えられている。
本稿では,予測符号化理論にインスパイアされた新しい学習アルゴリズムを提案し,局所的なヘビアン可塑性のみを利用して,教師あり学習を完全自律的かつ効果的に行うことができることを示す。
テスト精度はCaltech Face/Motorbikeデータセットの99.25%、ETH-80データセットの84.25%、MNISTデータセットの98.1%、ニューロモルフィックデータセットの98.5%である。
さらに本研究は、神経回路のスパイキングに教師あり学習アルゴリズムがどのように直接実装されているかに関する新たな視点を提供し、神経科学における神経形態学計算に関する新たな洞察を与える。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。
本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
論文 参考訳（メタデータ） (2024-07-12T08:17:24Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural
Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。
本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
論文 参考訳（メタデータ） (2022-05-31T17:02:26Z) - Advancing Residual Learning towards Powerful Deep Spiking Neural
Networks [16.559670769601038]
残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。
MS-ResNetは、直接訓練されたSNNの深さを大幅に拡張することができる。
MS-ResNet 104はImageNetで76.02%の精度を達成した。
論文 参考訳（メタデータ） (2021-12-15T05:47:21Z) - BioGrad: Biologically Plausible Gradient-Based Learning for Spiking
Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、AI問題に対するエネルギー効率が高く、非常に並列で、低レイテンシのソリューションを提供している。
これらの計算的利点を利用するには、SNNは脳にインスパイアされたニューロモルフィックの原則に従う学習アルゴリズムによって訓練される必要がある。
本稿では,機能的にバックプロップと等価なSNNのための生物学的に妥当な勾配に基づく学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-27T00:07:25Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳（メタデータ） (2020-08-21T19:03:23Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Convolutional Spiking Neural Networks for Spatio-Temporal Feature
Extraction [3.9898522485253256]
スパイキングニューラルネットワーク(SNN)は低消費電力および組み込みシステムで使用できる。
畳み込みニューラルネットワークやその他の種類のSNNの層における時間符号化はまだ研究されていない。
現実世界の問題に対処するための,新たな深層スパイクアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T11:58:51Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。