論文の概要: Efficient Online Learning for Networks of Two-Compartment Spiking
Neurons
- arxiv url: http://arxiv.org/abs/2402.15969v1
- Date: Sun, 25 Feb 2024 03:15:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 16:00:35.344153
- Title: Efficient Online Learning for Networks of Two-Compartment Spiking
Neurons
- Title（参考訳）: 2成分スパイクニューロンのネットワークに対する効率的なオンライン学習
- Authors: Yujia Yin, Xinyi Chen, Chenxiang Ma, Jibin Wu, Kay Chen Tan
- Abstract要約: 本稿では,TC-LIFニューロンのネットワークに適した新しいオンライン学習手法を提案する。
我々はまた、時間情報統合を強化するために慎重に設計された適応型TC-LIFニューロンモデル(Adaptive TC-LIF)を提案する。
本手法は, オンライン学習のトレーニング効率とハードウェアフレンドリさを両立させながら, TC-LIFニューロンの優れた逐次モデリング能力の維持に成功している。
- 参考スコア（独自算出の注目度）: 23.720523101102593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The brain-inspired Spiking Neural Networks (SNNs) have garnered considerable
research interest due to their superior performance and energy efficiency in
processing temporal signals. Recently, a novel multi-compartment spiking neuron
model, namely the Two-Compartment LIF (TC-LIF) model, has been proposed and
exhibited a remarkable capacity for sequential modelling. However, training the
TC-LIF model presents challenges stemming from the large memory consumption and
the issue of gradient vanishing associated with the Backpropagation Through
Time (BPTT) algorithm. To address these challenges, online learning
methodologies emerge as a promising solution. Yet, to date, the application of
online learning methods in SNNs has been predominantly confined to simplified
Leaky Integrate-and-Fire (LIF) neuron models. In this paper, we present a novel
online learning method specifically tailored for networks of TC-LIF neurons.
Additionally, we propose a refined TC-LIF neuron model called Adaptive TC-LIF,
which is carefully designed to enhance temporal information integration in
online learning scenarios. Extensive experiments, conducted on various
sequential benchmarks, demonstrate that our approach successfully preserves the
superior sequential modeling capabilities of the TC-LIF neuron while
incorporating the training efficiency and hardware friendliness of online
learning. As a result, it offers a multitude of opportunities to leverage
neuromorphic solutions for processing temporal signals.
- Abstract（参考訳）: 脳にインスパイアされたスパイキングニューラルネットワーク(SNN)は、時間信号処理における優れた性能とエネルギー効率のため、かなりの研究関心を集めている。
近年,Two-compartment LIF(TC-LIF)モデルと呼ばれる新しいマルチコンパートメントスパイクニューロンモデルが提案され,シーケンシャルなモデリングに顕著な能力を示した。
しかし、TC-LIFモデルのトレーニングでは、大きなメモリ消費と、BPTT(Backproagation Through Time)アルゴリズムに関連する勾配の解消の問題から生じる課題が提示される。
これらの課題に対処するために、オンライン学習方法論が有望な解決策として現れます。
しかし、これまでSNNにおけるオンライン学習手法の適用は主に、簡易化したLeaky Integrate-and-Fire(LIF)ニューロンモデルに限られてきた。
本稿では,tc-lifニューロンのネットワークに特化したオンライン学習手法を提案する。
さらに,オンライン学習シナリオにおける時間情報統合の強化を念頭に設計したAdaptive TC-LIFと呼ばれる改良されたTC-LIFニューロンモデルを提案する。
様々な逐次ベンチマークで実施した広範囲な実験により,本手法は,オンライン学習の学習効率とハードウェアフレンドリーさを取り入れつつ,tc-lifニューロンの優れた逐次モデリング能力を良好に維持できることが証明された。
結果として、時間信号の処理にニューロモルフィックなソリューションを利用する多くの機会を提供する。
関連論文リスト
- Unleashing the Potential of Spiking Neural Networks for Sequential
Modeling with Contextual Embedding [32.25788551849627]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、長期的な時間的関係をモデル化する上で、生物学的に競合するものと一致しようと苦労してきた。
本稿では,新しい文脈埋め込みLeaky Integrate-and-Fire(CE-LIF)スパイキングニューロンモデルを提案する。
論文 参考訳（メタデータ） (2023-08-29T09:33:10Z) - TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential
Modelling [54.97005925277638]
潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。
SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。
そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
論文 参考訳（メタデータ） (2023-08-25T08:54:41Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - DAE-PINN: A Physics-Informed Neural Network Model for Simulating
Differential-Algebraic Equations with Application to Power Networks [8.66798555194688]
DAE-PINNは非線形微分代数方程式の解軌跡を学習し、シミュレーションするための最初の効果的なディープラーニングフレームワークである。
我々のフレームワークは、ペナルティベースの手法を用いて、DAEを(近似的に)厳しい制約として満たすためにニューラルネットワークを強制する。
DAE-PINNの有効性と精度を3バス電力ネットワークの解軌跡を学習・シミュレーションすることで示す。
論文 参考訳（メタデータ） (2021-09-09T14:30:28Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - A Study On the Effects of Pre-processing On Spatio-temporal Action
Recognition Using Spiking Neural Networks Trained with STDP [0.0]
ビデオ分類タスクにおいて,教師なし学習手法で訓練したSNNの行動を研究することが重要である。
本稿では,時間情報を静的な形式に変換し,遅延符号化を用いて視覚情報をスパイクに変換する手法を提案する。
スパイクニューラルネットワークを用いた行動認識における行動の形状と速度の類似性の効果を示す。
論文 参考訳（メタデータ） (2021-05-31T07:07:48Z) - Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。
具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。
我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
論文 参考訳（メタデータ） (2020-10-22T17:56:59Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。