論文の概要: Finite Meta-Dynamic Neurons in Spiking Neural Networks for
Spatio-temporal Learning
- arxiv url: http://arxiv.org/abs/2010.03140v1
- Date: Wed, 7 Oct 2020 03:49:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 22:35:17.815778
- Title: Finite Meta-Dynamic Neurons in Spiking Neural Networks for
Spatio-temporal Learning
- Title(参考訳): 時空間学習のためのスパイキングニューラルネットワークにおける有限メタダイナミックニューロン
- Authors: Xiang Cheng and Tielin Zhang and Shuncheng Jia and Bo Xu
- Abstract要約: Spiking Neural Networks (SNN) は、生物学的に証明可能な構造と学習原則を取り入れている。
時相学習におけるネットワークの一般化を改善するために,SNNを改善するメタ動的ニューロン(MDN)を提案する。
MDNは空間的(MNIST)と時間的(TIt)データセットから生成され、その後様々な時間的タスクに拡張された。
- 参考スコア(独自算出の注目度): 13.037452551907657
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) have incorporated more biologically-plausible
structures and learning principles, hence are playing critical roles in
bridging the gap between artificial and natural neural networks. The spikes are
the sparse signals describing the above-threshold event-based firing and
under-threshold dynamic computation of membrane potentials, which give us an
alternative uniformed and efficient way on both information representation and
computation. Inspired from the biological network, where a finite number of
meta neurons integrated together for various of cognitive functions, we
proposed and constructed Meta-Dynamic Neurons (MDN) to improve SNNs for a
better network generalization during spatio-temporal learning. The MDNs are
designed with basic neuronal dynamics containing 1st-order and 2nd-order
dynamics of membrane potentials, including the spatial and temporal meta types
supported by some hyper-parameters. The MDNs generated from a spatial (MNIST)
and a temporal (TIDigits) datasets first, and then extended to various other
different spatio-temporal tasks (including Fashion-MNIST, NETtalk, Cifar-10,
TIMIT and N-MNIST). The comparable accuracy was reached compared to other SOTA
SNN algorithms, and a better generalization was also achieved by SNNs using
MDNs than that without using MDNs.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、より生物学的に証明可能な構造と学習原則を取り入れているため、人工ニューラルネットワークと自然ニューラルネットワークのギャップを埋める上で重要な役割を担っている。
スパイクは、上述のthresholdイベントベースの発火と、膜電位の動的計算を記述したスパース信号であり、情報表現と計算の両方において、より均一で効率的な方法を与える。
生体ネットワークからインスピレーションを得て,様々な認知機能のために,限られた数のメタニューロンが統合されたメタダイナミックニューロン(MDN)を提案し,時空間学習時のネットワーク一般化を改善するために構築した。
MDNは、いくつかのハイパーパラメータによって支えられる空間的および時間的メタタイプを含む膜電位の1次および2次ダイナミクスを含む基本的な神経力学で設計されている。
MDNはまず空間的(MNIST)と時間的(TIDigits)データセットから生成され、その後、Fashion-MNIST、Nettalk、Cifar-10、TIMIT、N-MNISTを含む様々な時空間タスクに拡張された。
他のSOTA SNNアルゴリズムと同等の精度に到達し、MDNを使わずにMDNを使用するSNNでもより優れた一般化が達成された。
関連論文リスト
- Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳(メタデータ) (2024-01-09T07:31:34Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳(メタデータ) (2023-10-25T13:15:17Z) - Co-learning synaptic delays, weights and adaptation in spiking neural
networks [0.0]
スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。
スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
論文 参考訳(メタデータ) (2023-09-12T09:13:26Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Multi-scale Evolutionary Neural Architecture Search for Deep Spiking
Neural Networks [7.271032282434803]
スパイキングニューラルネットワーク(SNN)のためのマルチスケール進化型ニューラルネットワーク探索(MSE-NAS)を提案する。
MSE-NASは脳にインスパイアされた間接的評価機能であるRepresentational Dissimilarity Matrices(RDMs)を介して、個々のニューロンの操作、複数の回路モチーフの自己組織化の統合、およびグローバルなモチーフ間の接続を進化させる
提案アルゴリズムは,静的データセットとニューロモルフィックデータセットのシミュレーションステップを短縮して,最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2023-04-21T05:36:37Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - A Synapse-Threshold Synergistic Learning Approach for Spiking Neural
Networks [1.8556712517882232]
スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。
本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
論文 参考訳(メタデータ) (2022-06-10T06:41:36Z) - Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural
Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。
本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
論文 参考訳(メタデータ) (2022-05-31T17:02:26Z) - Accurate and efficient time-domain classification with adaptive spiking
recurrent neural networks [1.8515971640245998]
スパイクニューラルネットワーク(SNN)は、より生物学的に実行可能で、より強力なニューラルネットワークモデルとして研究されている。
本稿では、新規なサロゲート勾配と、チューナブルおよび適応性スピッキングニューロンの繰り返しネットワークがSNNの最先端を生み出す様子を示す。
論文 参考訳(メタデータ) (2021-03-12T10:27:29Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。