論文の概要: Autaptic Synaptic Circuit Enhances Spatio-temporal Predictive Learning of Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2406.00405v2
• Date: Wed, 5 Jun 2024 03:45:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 12:09:17.627376
• Title: Autaptic Synaptic Circuit Enhances Spatio-temporal Predictive Learning of Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークの時空間予測学習を実現する自動シナプス回路
• Authors: Lihao Wang, Zhaofei Yu,
• Abstract要約: Spiking Neural Networks (SNNs) は、生物学的ニューロンで見られる統合ファイアリーク機構をエミュレートする。 既存のSNNは、主にIntegrate-and-Fire Leaky(LIF)モデルに依存している。 本稿では,S-patioTemporal Circuit (STC) モデルを提案する。
• 参考スコア（独自算出の注目度）: 23.613277062707844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) emulate the integrated-fire-leak mechanism found in biological neurons, offering a compelling combination of biological realism and energy efficiency. In recent years, they have gained considerable research interest. However, existing SNNs predominantly rely on the Leaky Integrate-and-Fire (LIF) model and are primarily suited for simple, static tasks. They lack the ability to effectively model long-term temporal dependencies and facilitate spatial information interaction, which is crucial for tackling complex, dynamic spatio-temporal prediction tasks. To tackle these challenges, this paper draws inspiration from the concept of autaptic synapses in biology and proposes a novel Spatio-Temporal Circuit (STC) model. The STC model integrates two learnable adaptive pathways, enhancing the spiking neurons' temporal memory and spatial coordination. We conduct a theoretical analysis of the dynamic parameters in the STC model, highlighting their contribution in establishing long-term memory and mitigating the issue of gradient vanishing. Through extensive experiments on multiple spatio-temporal prediction datasets, we demonstrate that our model outperforms other adaptive models. Furthermore, our model is compatible with existing spiking neuron models, thereby augmenting their dynamic representations. In essence, our work enriches the specificity and topological complexity of SNNs.
• Abstract（参考訳）: Spiking Neural Networks (SNN) は、生物学的ニューロンで見られる統合ファイアリーク機構をエミュレートし、生物学的リアリズムとエネルギー効率の強力な組み合わせを提供する。 近年、研究が盛んに行われている。 しかし、既存のSNNは主にLeaky Integrate-and-Fire(LIF)モデルに依存しており、主に単純で静的なタスクに適している。 長期の時間的依存を効果的にモデル化し、空間情報の相互作用を促進する能力は欠如している。 これらの課題に対処するために,本論文は生物学における自己シナプスの概念からインスピレーションを得て,新しい時空間回路(STC)モデルを提案する。 STCモデルは2つの学習可能な適応経路を統合し、スパイキングニューロンの時間記憶と空間調整を強化する。 本研究では,STCモデルにおける動的パラメータの理論的解析を行い,長期記憶の確立と勾配解消の課題の緩和に寄与することを明らかにする。 複数の時空間予測データセットに関する広範な実験を通じて、我々のモデルが他の適応モデルよりも優れていることを示す。 さらに、我々のモデルは既存のスパイクニューロンモデルと互換性があり、それによってそれらの動的表現を増大させる。 本質的に、我々の研究はSNNの特異性とトポロジカルな複雑さを豊かにしている。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Spatio-temporal Structure of Excitation and Inhibition Emerges in Spiking Neural Networks with and without Biologically Plausible Constraints [0.06752396542927405]
  学習可能なシナプス遅延を組み込んだスパイキングニューラルネットワーク(SNN)モデルを提案する。 接続除去のためのDEEP Rと接続のためのRigLを組み合わせた動的プルーニング戦略を実装した。 より生物学的に妥当なモデルにおいても,再導入・時間的興奮・抑制のパターンが出現することが観察された。
  論文  参考訳（メタデータ） (2024-07-07T11:55:48Z)
• Unleashing the Potential of Spiking Neural Networks for Sequential Modeling with Contextual Embedding [32.25788551849627]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、長期的な時間的関係をモデル化する上で、生物学的に競合するものと一致しようと苦労してきた。 本稿では,新しい文脈埋め込みLeaky Integrate-and-Fire(CE-LIF)スパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-29T09:33:10Z)
• TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential Modelling [54.97005925277638]
  潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。 SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。 そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-25T08:54:41Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Unsupervised Spiking Neural Network Model of Prefrontal Cortex to study Task Switching with Synaptic deficiency [0.0]
  スパイキングニューラルネットワーク(SNN)を用いた前頭前皮質(PFC)の計算モデルを構築した。 本研究では,SNNが生物学的に妥当な値に近いパラメータを持ち,教師なしのスパイクタイミング依存塑性(STDP)学習規則を用いてモデルを訓練する。
  論文  参考訳（メタデータ） (2023-05-23T05:59:54Z)
• STSC-SNN: Spatio-Temporal Synaptic Connection with Temporal Convolution and Attention for Spiking Neural Networks [7.422913384086416]
  ニューロモルフィックコンピューティングのアルゴリズムモデルの一つであるスパイキングニューラルネットワーク(SNN)は、時間的処理能力のために多くの研究注目を集めている。 SNNの既存のシナプス構造は、ほぼ完全な接続や空間的2次元畳み込みであり、どちらも時間的依存関係を適切に抽出できない。 生体シナプスからインスピレーションを得てシナプス接続SNNモデルを提案し,シナプス接続の時間的受容場を強化する。 時間的依存を伴うシナプスモデルの提供は、分類タスクにおけるSNNの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:13:22Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• SPATE-GAN: Improved Generative Modeling of Dynamic Spatio-Temporal Patterns with an Autoregressive Embedding Loss [4.504870356809408]
  本稿では、時間的ダイナミクスの学習を強化するために、自己回帰埋め込みに基づく-GANと組み合わせた新しい損失目標を提案する。 組込み損失は -GAN のアーキテクチャを変更することなく性能を向上し,自己相関構造に対するモデルの能力向上を浮き彫りにしている。
  論文  参考訳（メタデータ） (2021-09-30T12:10:05Z)
• Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
  Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。 能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。 その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
  論文  参考訳（メタデータ） (2021-06-05T01:31:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。