論文の概要: TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential Modelling

• arxiv url: http://arxiv.org/abs/2308.13250v3
• Date: Sat, 17 Feb 2024 13:30:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 06:12:20.763180
• Title: TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential Modelling
• Title（参考訳）: TC-LIF:長期連続モデリングのための2成分スパイクニューロンモデル
• Authors: Shimin Zhang, Qu Yang, Chenxiang Ma, Jibin Wu, Haizhou Li, Kay Chen Tan
• Abstract要約: 潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。 SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。 そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
• 参考スコア（独自算出の注目度）: 54.97005925277638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The identification of sensory cues associated with potential opportunities and dangers is frequently complicated by unrelated events that separate useful cues by long delays. As a result, it remains a challenging task for state-of-the-art spiking neural networks (SNNs) to establish long-term temporal dependency between distant cues. To address this challenge, we propose a novel biologically inspired Two-Compartment Leaky Integrate-and-Fire spiking neuron model, dubbed TC-LIF. The proposed model incorporates carefully designed somatic and dendritic compartments that are tailored to facilitate learning long-term temporal dependencies. Furthermore, a theoretical analysis is provided to validate the effectiveness of TC-LIF in propagating error gradients over an extended temporal duration. Our experimental results, on a diverse range of temporal classification tasks, demonstrate superior temporal classification capability, rapid training convergence, and high energy efficiency of the proposed TC-LIF model. Therefore, this work opens up a myriad of opportunities for solving challenging temporal processing tasks on emerging neuromorphic computing systems. Our code is publicly available at https://github.com/ZhangShimin1/TC-LIF.
• Abstract（参考訳）: 潜在的な機会や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な出来事によってしばしば複雑になる。 その結果、最先端のスパイクニューラルネットワーク(snn)では、遠方の手がかり間の長期的な時間的依存関係を確立することが課題となっている。 この課題に対処するため,我々はtc-lifと呼ばれる,生物にインスパイアされた2つのコンパートメントによる統合・ファイアスパイキングニューロンモデルを提案する。 提案モデルでは,長期的時間的依存関係の学習を容易にするように設計された身体的および樹状的な区画を慎重に設計した。 さらに,TC-LIFが時間的長期にわたる誤差勾配の伝播に有効であることを示す理論的解析を行った。 本研究は, 時間的分類課題の多種多様さに対して, 時間的分類能力の向上, 迅速な訓練収束, 提案したTC-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新興のニューロモルフィックコンピューティングシステムにおける時間的処理課題を解決するための無数の機会を開く。 私たちのコードはhttps://github.com/ZhangShimin1/TC-LIFで公開されています。

関連論文リスト

• Spatio-temporal Structure of Excitation and Inhibition Emerges in Spiking Neural Networks with and without Biologically Plausible Constraints [0.06752396542927405]
  学習可能なシナプス遅延を組み込んだスパイキングニューラルネットワーク(SNN)モデルを提案する。 接続除去のためのDEEP Rと接続のためのRigLを組み合わせた動的プルーニング戦略を実装した。 より生物学的に妥当なモデルにおいても,再導入・時間的興奮・抑制のパターンが出現することが観察された。
  論文  参考訳（メタデータ） (2024-07-07T11:55:48Z)
• ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks [1.5931140598271163]
  局所的な常時オンおよび位相自由可塑性のみを用いて,効率的な学習シーケンスのモデルを構築した。 鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに関してその柔軟性を実証する。
  論文  参考訳（メタデータ） (2024-02-26T17:30:34Z)
• Efficient Online Learning for Networks of Two-Compartment Spiking Neurons [23.720523101102593]
  本稿では,TC-LIFニューロンのネットワークに適した新しいオンライン学習手法を提案する。 我々はまた、時間情報統合を強化するために慎重に設計された適応型TC-LIFニューロンモデル(Adaptive TC-LIF)を提案する。 本手法は, オンライン学習のトレーニング効率とハードウェアフレンドリさを両立させながら, TC-LIFニューロンの優れた逐次モデリング能力の維持に成功している。
  論文  参考訳（メタデータ） (2024-02-25T03:15:12Z)
• Unleashing the Potential of Spiking Neural Networks for Sequential Modeling with Contextual Embedding [32.25788551849627]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、長期的な時間的関係をモデル化する上で、生物学的に競合するものと一致しようと苦労してきた。 本稿では,新しい文脈埋め込みLeaky Integrate-and-Fire(CE-LIF)スパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-29T09:33:10Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Learn to cycle: Time-consistent feature discovery for action recognition [83.43682368129072]
  時間的変動を一般化することは、ビデオにおける効果的な行動認識の前提条件である。 Squeeze Re Temporal Gates (SRTG) を導入する。 SRTPGブロックを使用する場合,GFLOの数は最小限に抑えられ,一貫した改善が見られた。
  論文  参考訳（メタデータ） (2020-06-15T09:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。