論文の概要: Spatio-temporal Structure of Excitation and Inhibition Emerges in Spiking Neural Networks with and without Biologically Plausible Constraints
- arxiv url: http://arxiv.org/abs/2407.18917v1
- Date: Sun, 7 Jul 2024 11:55:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-05 01:25:56.719243
- Title: Spatio-temporal Structure of Excitation and Inhibition Emerges in Spiking Neural Networks with and without Biologically Plausible Constraints
- Title（参考訳）: 生体可塑性制約のないスパイキングニューラルネットワークにおける励起・抑制エネルギの時空間構造
- Authors: Balázs Mészáros, James Knight, Thomas Nowotny,
- Abstract要約: 学習可能なシナプス遅延を組み込んだスパイキングニューラルネットワーク(SNN)モデルを提案する。
接続除去のためのDEEP Rと接続のためのRigLを組み合わせた動的プルーニング戦略を実装した。
より生物学的に妥当なモデルにおいても,再導入・時間的興奮・抑制のパターンが出現することが観察された。
- 参考スコア（独自算出の注目度）: 0.06752396542927405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a Spiking Neural Network (SNN) model that incorporates learnable synaptic delays using Dilated Convolution with Learnable Spacings (DCLS). We train this model on the Raw Heidelberg Digits keyword spotting benchmark using Backpropagation Through Time with surrogate gradients. Analysing the spatio-temporal structure of synaptic interactions in the network we observe that after training excitation and inhibition are grouped together both in space and time. To further enhance the efficiency and biological realism of our model, we implemented a dynamic pruning strategy that combines DEEP R for connection removal and RigL for connection reintroduction, ensuring that the network maintains optimal connectivity throughout training. Additionally, we incorporated Dale's Principle, enforcing each neuron to be exclusively excitatory or inhibitory -- aligning our model closer to biological neural networks. We observed that, after training, the spatio-temporal patterns of excitation and inhibition appeared in the more biologically plausible model as well. Our research demonstrates the potential of integrating learnable delays, dynamic pruning, and biological constraints to develop efficient SNN models for temporal data processing. Furthermore, our results enhance the understanding of spatio-temporal dynamics in SNNs -- suggesting that the spatio-temporal features which emerge from training are robust to both pruning and rewiring processes -- providing a solid foundation for future work in neuromorphic computing applications.
- Abstract（参考訳）: 本稿では、Dilated Convolution with Learnable Spacings (DCLS)を用いて、学習可能なシナプス遅延を組み込んだスパイキングニューラルネットワーク(SNN)モデルを提案する。
我々は、このモデルをRaw Heidelberg Digitsキーワードスポッティングベンチマークで、代理勾配を持つBackpropagation Through Timeを用いて訓練する。
ネットワークにおけるシナプス相互作用の時空間構造を解析したところ、トレーニングの励振と抑制は空間と時間の両方でグループ化されることがわかった。
そこで我々は,DEP Rを接続除去用として,RigLを接続再導入用として併用し,ネットワークがトレーニングを通して最適な接続性を維持するダイナミック・プルーニング・ストラテジーを実装した。
さらに、私たちはDaleの原則を取り入れ、各ニューロンに排他的または抑制的であることを強制し、私たちのモデルを生物学的ニューラルネットワークに近づけました。
訓練後, 刺激と抑制の時空間パターンが, より生物学的に妥当なモデルにも現れることがわかった。
本研究は,時間的データ処理のための効率的なSNNモデルを開発するために,学習可能な遅延,動的刈り込み,生物学的制約を統合する可能性を示す。
さらに,本研究の結果は,SNNにおける時空間の時空間的ダイナミクスの理解を深めるとともに,トレーニングから生じる時空間的特徴がプルーニングおよびリライトプロセスの両方に対して堅牢であること,ニューロモルフィックコンピューティングアプリケーションにおける今後の研究の基盤となることを示唆している。
関連論文リスト
- ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks [1.5931140598271163]
局所的な常時オンおよび位相自由可塑性のみを用いて,効率的な学習シーケンスのモデルを構築した。
鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに関してその柔軟性を実証する。
論文 参考訳（メタデータ） (2024-02-26T17:30:34Z) - TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential
Modelling [54.97005925277638]
潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。
SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。
そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
論文 参考訳（メタデータ） (2023-08-25T08:54:41Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Brain-Inspired Spiking Neural Network for Online Unsupervised Time
Series Prediction [13.521272923545409]
連続学習に基づく非教師付きリカレントスパイキングニューラルネットワークモデル(CLURSNN)を提案する。
CLURSNNは、ランダム遅延埋め込み(Random Delay Embedding)を使用して基盤となる動的システムを再構築することで、オンライン予測を行う。
提案手法は,進化するロレンツ63力学系を予測する際に,最先端のDNNモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-04-10T16:18:37Z) - Axonal Delay As a Short-Term Memory for Feed Forward Deep Spiking Neural
Networks [3.985532502580783]
近年の研究では、学習過程において神経細胞の時間遅延が重要な役割を担っていることが判明している。
スパイクの正確なタイミングを設定することは、SNNにおける時間情報の伝達過程を理解し改善するための有望な方向である。
本稿では,教師付き学習に時間遅延を統合することの有効性を検証するとともに,短期記憶による軸索遅延を変調するモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-20T16:56:42Z) - Simulating Network Paths with Recurrent Buffering Units [4.7590500506853415]
我々は,送信者が提供する時間変化負荷に応じて,エンドツーエンドのパケット遅延値を生成するモデルを求める。
本稿では,リカレントバッファリングユニット(Recurrent Buffering Unit)と呼ばれる新しいRNNスタイルのアーキテクチャに物理ネットワークパスの意味を埋め込む,ネットワークシミュレーションのための新しいグレーボックスアプローチを提案する。
論文 参考訳（メタデータ） (2022-02-23T16:46:31Z) - An optimised deep spiking neural network architecture without gradients [7.183775638408429]
本稿では、局所シナプスおよびしきい値適応ルールを用いたエンドツーエンドのトレーニング可能なモジュラーイベント駆動ニューラルアーキテクチャを提案する。
このアーキテクチャは、既存のスパイキングニューラルネットワーク(SNN)アーキテクチャの高度に抽象化されたモデルを表している。
論文 参考訳（メタデータ） (2021-09-27T05:59:12Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。