論文の概要: Tuning Convolutional Spiking Neural Network with Biologically-plausible
Reward Propagation
- arxiv url: http://arxiv.org/abs/2010.04434v3
- Date: Mon, 31 May 2021 13:50:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 04:12:38.011015
- Title: Tuning Convolutional Spiking Neural Network with Biologically-plausible
Reward Propagation
- Title(参考訳): 生物学的に証明可能な逆流伝播を用いたチューニング畳み込みニューラルネットワーク
- Authors: Tielin Zhang and Shuncheng Jia and Xiang Cheng and Bo Xu
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、より生物学的に現実的な構造と生物学的に着想を得た学習原則を含んでいる。
BRPアルゴリズムはスパイキング畳み込み層とフル接続層の両方でSNNアーキテクチャに適用される。
- 参考スコア(独自算出の注目度): 13.037452551907657
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) contain more biologically realistic structures
and biologically-inspired learning principles than those in standard Artificial
Neural Networks (ANNs). SNNs are considered the third generation of ANNs,
powerful on the robust computation with a low computational cost. The neurons
in SNNs are non-differential, containing decayed historical states and
generating event-based spikes after their states reaching the firing threshold.
These dynamic characteristics of SNNs make it difficult to be directly trained
with the standard backpropagation (BP), which is also considered not
biologically plausible. In this paper, a Biologically-plausible Reward
Propagation (BRP) algorithm is proposed and applied to the SNN architecture
with both spiking-convolution (with both 1D and 2D convolutional kernels) and
full-connection layers. Unlike the standard BP that propagates error signals
from post to presynaptic neurons layer by layer, the BRP propagates target
labels instead of errors directly from the output layer to all pre-hidden
layers. This effort is more consistent with the top-down reward-guiding
learning in cortical columns of the neocortex. Synaptic modifications with only
local gradient differences are induced with pseudo-BP that might also be
replaced with the Spike-Timing Dependent Plasticity (STDP). The performance of
the proposed BRP-SNN is further verified on the spatial (including MNIST and
Cifar-10) and temporal (including TIDigits and DvsGesture) tasks, where the SNN
using BRP has reached a similar accuracy compared to other state-of-the-art
BP-based SNNs and saved 50% more computational cost than ANNs. We think the
introduction of biologically plausible learning rules to the training procedure
of biologically realistic SNNs will give us more hints and inspirations toward
a better understanding of the biological system's intelligent nature.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、標準的なニューラルネットワーク(ANN)よりも生物学的に現実的な構造と生物学的に着想を得た学習原則を含んでいる。
SNNはANNの第3世代と見なされており、計算コストの低いロバストな計算に強力である。
SNNのニューロンは非分化性であり、崩壊した履歴状態を含み、発射しきい値に達した後に事象ベースのスパイクを生成する。
これらのSNNの動的特性は、生物学的に妥当ではないと考えられる標準バックプロパゲーション(BP)を直接訓練することが困難になる。
本稿では, スパイキング・コンボリューション(1Dと2Dのコンボリューション・カーネルを持つ)とフル接続層を併用したBRPアルゴリズムを提案し, SNNアーキテクチャに適用する。
ポストからシナプス前ニューロン層へのエラー信号を層ごとに伝播する標準BPとは異なり、BRPは出力層からすべてのプレヒドドド層へのエラーではなく、ターゲットラベルを伝搬する。
この取り組みは、新皮質の皮質列におけるトップダウンの報酬誘導学習とより一致している。
局所勾配のみのシナプス変化は擬似BPによって誘導され、スパイク・タイミング依存塑性 (STDP) に置き換えられる。
提案したBRP-SNNの性能は空間的(MNISTとCifar-10を含む)および時間的(TIDigitsとDvsGestureを含む)タスクでさらに検証され、BRPを用いたSNNは他の最先端のBPベースのSNNと同等の精度に達し、ANNよりも50%高い計算コストを節約した。
生物学的に妥当な学習規則が生物学的に現実的なSNNの訓練手順に導入されれば、生物学的システムのインテリジェントな性質をよりよく理解するためのヒントやインスピレーションが得られます。
関連論文リスト
- Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks [69.2642802272367]
スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。
最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。
オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。
論文 参考訳(メタデータ) (2024-07-17T12:09:00Z) - Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。
本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
論文 参考訳(メタデータ) (2024-05-27T05:53:30Z) - High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である
深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。
我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
論文 参考訳(メタデータ) (2023-06-14T21:01:35Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper
Directly-Trained Spiking Neural Networks [19.490903216456758]
スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。
既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
論文 参考訳(メタデータ) (2022-10-12T16:39:46Z) - Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。
ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。
本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
論文 参考訳(メタデータ) (2021-05-11T10:05:53Z) - Optimal Conversion of Conventional Artificial Neural Networks to Spiking
Neural Networks [0.0]
spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。
しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。
提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
論文 参考訳(メタデータ) (2021-02-28T12:04:22Z) - Skip-Connected Self-Recurrent Spiking Neural Networks with Joint
Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。
ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
論文 参考訳(メタデータ) (2020-10-23T22:27:13Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳(メタデータ) (2020-08-21T19:03:23Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。