論文の概要: Heterogeneous Neuronal and Synaptic Dynamics for Spike-Efficient
Unsupervised Learning: Theory and Design Principles
- arxiv url: http://arxiv.org/abs/2302.11618v1
- Date: Wed, 22 Feb 2023 19:48:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-24 17:06:56.347351
- Title: Heterogeneous Neuronal and Synaptic Dynamics for Spike-Efficient
Unsupervised Learning: Theory and Design Principles
- Title(参考訳): スパイク効率的な教師なし学習のための不均一神経とシナプスダイナミクス:理論と設計原理
- Authors: Biswadeep Chakraborty and Saibal Mukhopadhyay
- Abstract要約: 我々は、ニューロンの統合/緩和ダイナミクスの多様性が、RSNNがより異なる入力パターン(より高いメモリ容量)を学習する能力を向上させることを解析的に示す。
さらに, シナプスのヘテロジニアススパイク-タイミング-依存性-Plasticity (STDP) はスパイク活性を低下させるが, メモリ容量は維持することを示した。
- 参考スコア(独自算出の注目度): 13.521272923545409
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper shows that the heterogeneity in neuronal and synaptic dynamics
reduces the spiking activity of a Recurrent Spiking Neural Network (RSNN) while
improving prediction performance, enabling spike-efficient (unsupervised)
learning. We analytically show that the diversity in neurons'
integration/relaxation dynamics improves an RSNN's ability to learn more
distinct input patterns (higher memory capacity), leading to improved
classification and prediction performance. We further prove that heterogeneous
Spike-Timing-Dependent-Plasticity (STDP) dynamics of synapses reduce spiking
activity but preserve memory capacity. The analytical results motivate
Heterogeneous RSNN design using Bayesian optimization to determine
heterogeneity in neurons and synapses to improve $\mathcal{E}$, defined as the
ratio of spiking activity and memory capacity. The empirical results on time
series classification and prediction tasks show that optimized HRSNN increases
performance and reduces spiking activity compared to a homogeneous RSNN.
- Abstract(参考訳): 本稿では, 神経・シナプス力学の不均一性により, リカレントスパイキングニューラルネットワーク(RSNN)のスパイク活性が低下し, 予測性能が向上し, スパイク効率(教師なし)学習が可能となることを示す。
ニューロンの結合/相対化ダイナミクスの多様性は、rsnnのより異なる入力パターン(メモリ容量が高い)を学習する能力を改善し、分類と予測性能の向上に繋がることを示した。
さらに,synapsesのspike-timing-dependent-plasticity(stdp)ダイナミクスはスパイキング活性を減少させるが,メモリ容量は維持できることを示した。
解析結果は,スパイキング活性と記憶容量の比として定義される$\mathcal{e}$を改善するために,ニューロンとシナプスの異種性を決定するためにベイズ最適化を用いた異種rsnn設計を動機付けている。
時系列分類および予測タスクにおける実験結果から,hrsnnの最適化は,均質なrsnnと比較して,性能の向上とスパイキング活性の低減に寄与することが示された。
関連論文リスト
- Efficient and Effective Time-Series Forecasting with Spiking Neural
Networks [50.195087118884665]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-02T16:23:50Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Exploiting High Performance Spiking Neural Networks with Efficient
Spiking Patterns [4.8416725611508244]
スパイキングニューラルネットワーク(SNN)は、離散スパイクシーケンスを使用して情報を伝達し、脳の情報伝達を著しく模倣する。
本稿では、動的バーストパターンを導入し、短時間の性能と動的時間的性能のトレードオフを可能にするLeaky Integrate and Fire or Burst(LIFB)ニューロンを設計する。
論文 参考訳(メタデータ) (2023-01-29T04:22:07Z) - Expressive architectures enhance interpretability of dynamics-based
neural population models [2.294014185517203]
シミュレーションされたニューラルネットワークから潜在カオスを引き付ける際のシーケンシャルオートエンコーダ(SAE)の性能を評価する。
広帯域再帰型ニューラルネットワーク(RNN)を用いたSAEでは,真の潜在状態次元での正確な発射速度を推定できないことがわかった。
論文 参考訳(メタデータ) (2022-12-07T16:44:26Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳(メタデータ) (2022-06-21T09:42:30Z) - MAP-SNN: Mapping Spike Activities with Multiplicity, Adaptability, and
Plasticity into Bio-Plausible Spiking Neural Networks [4.806663076114504]
スパイキングニューラルネットワーク(SNN)は、人間の脳の基本的なメカニズムを模倣しているため、生物学的に現実的で電力効率が高いと考えられている。
スパイク活動のモデル化における3つの特性について考察する:多重性、適応性、塑性(MAP)
提案したSNNモデルはニューロモルフィックデータセット(N-MNISTとSHD)上での競合性能を実現する。
論文 参考訳(メタデータ) (2022-04-21T05:36:11Z) - Ensemble plasticity and network adaptability in SNNs [0.726437825413781]
人工スパイキングニューラルネットワーク(ASNN)は、離散的なイベントベース(スパイク)計算のため、より優れた情報処理効率を約束する。
本研究では,スパイク活動のみを用いたエントロピーとネットワークアクティベーションに基づく新しいアンサンブル学習手法を提案する。
その結果, スパイクレートの低いニューロンクラスターを刈り取ると, 一般化や性能の低下が予想されることがわかった。
論文 参考訳(メタデータ) (2022-03-11T01:14:51Z) - Multi-Objective Optimisation of Cortical Spiking Neural Networks With
Genetic Algorithms [0.7995360025953929]
スパイキングニューラルネットワーク(SNN)は、ニューロンのオール・オア・ノー・スパイキング活動を通じて通信する。
遺伝的アルゴリズム(GA)を効率的なSNNモデルに最適化する以前の研究は、単一のパラメータと目的に限られていた。
この研究は、Non-dominated sorting GA (NSGA-III) と呼ばれるGAのバージョンを適用し、同じSNN上で多目的最適化を行う可能性を示した。
論文 参考訳(メタデータ) (2021-05-14T13:35:39Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳(メタデータ) (2020-06-16T18:45:20Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。