論文の概要: Unleashing the Potential of Spiking Neural Networks for Sequential Modeling with Contextual Embedding

• arxiv url: http://arxiv.org/abs/2308.15150v1
• Date: Tue, 29 Aug 2023 09:33:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 14:46:56.207251
• Title: Unleashing the Potential of Spiking Neural Networks for Sequential Modeling with Contextual Embedding
• Title（参考訳）: 文脈埋め込みを用いた逐次モデリングのためのスパイクニューラルネットワークの可能性
• Authors: Xinyi Chen, Jibin Wu, Huajin Tang, Qinyuan Ren, Kay Chen Tan
• Abstract要約: 脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、長期的な時間的関係をモデル化する上で、生物学的に競合するものと一致しようと苦労してきた。 本稿では,新しい文脈埋め込みLeaky Integrate-and-Fire(CE-LIF)スパイキングニューロンモデルを提案する。
• 参考スコア（独自算出の注目度）: 32.25788551849627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The human brain exhibits remarkable abilities in integrating temporally distant sensory inputs for decision-making. However, existing brain-inspired spiking neural networks (SNNs) have struggled to match their biological counterpart in modeling long-term temporal relationships. To address this problem, this paper presents a novel Contextual Embedding Leaky Integrate-and-Fire (CE-LIF) spiking neuron model. Specifically, the CE-LIF model incorporates a meticulously designed contextual embedding component into the adaptive neuronal firing threshold, thereby enhancing the memory storage of spiking neurons and facilitating effective sequential modeling. Additionally, theoretical analysis is provided to elucidate how the CE-LIF model enables long-term temporal credit assignment. Remarkably, when compared to state-of-the-art recurrent SNNs, feedforward SNNs comprising the proposed CE-LIF neurons demonstrate superior performance across extensive sequential modeling tasks in terms of classification accuracy, network convergence speed, and memory capacity.
• Abstract（参考訳）: ヒトの脳は、意思決定のために時間的に離れた感覚入力を統合する優れた能力を示す。 しかし、既存の脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、長期の時間的関係をモデル化する上で、生物学的に相性がよくない。 この問題に対処するため,本稿では,新しい文脈埋め込みLeaky Integrate-and-Fire(CE-LIF)スパイキングニューロンモデルを提案する。 具体的には、CE-LIFモデルは、適応的なニューロン発射閾値に、厳密に設計されたコンテキスト埋め込みコンポーネントを組み込むことにより、スパイキングニューロンのメモリ記憶を向上し、効果的なシーケンシャルモデリングを容易にする。 さらに、CE-LIFモデルが長期の時間的信用割当を可能にするかを明らかにするために理論的解析を行う。 注目すべきは、最先端の繰り返しSNNと比較して、CE-LIFニューロンからなるフィードフォワードSNNは、分類精度、ネットワーク収束速度、メモリ容量の観点から、広範囲な逐次モデリングタスクにおいて優れた性能を示すことである。

関連論文リスト

• P-SpikeSSM: Harnessing Probabilistic Spiking State Space Models for Long-Range Dependency Tasks [1.9775291915550175]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わる計算効率が高く生物学的に妥当な代替品として提案されている。 長距離依存タスクのためのスケーラブルな確率的スパイク学習フレームワークを開発した。 我々のモデルは、様々な長距離依存タスクにまたがるSNNモデル間の最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-06-05T04:23:11Z)
• Autaptic Synaptic Circuit Enhances Spatio-temporal Predictive Learning of Spiking Neural Networks [23.613277062707844]
  Spiking Neural Networks (SNNs) は、生物学的ニューロンで見られる統合ファイアリーク機構をエミュレートする。 既存のSNNは、主にIntegrate-and-Fire Leaky(LIF)モデルに依存している。 本稿では,S-patioTemporal Circuit (STC) モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-01T11:17:27Z)
• Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
  スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。 本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
  論文  参考訳（メタデータ） (2024-05-27T05:53:30Z)
• Efficient Online Learning for Networks of Two-Compartment Spiking Neurons [23.720523101102593]
  本稿では,TC-LIFニューロンのネットワークに適した新しいオンライン学習手法を提案する。 我々はまた、時間情報統合を強化するために慎重に設計された適応型TC-LIFニューロンモデル(Adaptive TC-LIF)を提案する。 本手法は, オンライン学習のトレーニング効率とハードウェアフレンドリさを両立させながら, TC-LIFニューロンの優れた逐次モデリング能力の維持に成功している。
  論文  参考訳（メタデータ） (2024-02-25T03:15:12Z)
• Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
  スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。 本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。 提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-04T09:07:09Z)
• TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential Modelling [54.97005925277638]
  潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。 SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。 そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-25T08:54:41Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• SIT: A Bionic and Non-Linear Neuron for Spiking Neural Network [12.237928453571636]
  スパイキングニューラルネットワーク(SNN)は、時間的情報処理能力と消費電力の低さから、研究者の関心を喚起している。 現在の最先端の手法は、ニューロンが単純な Leaky-Integrate-and-Fire (LIF) モデルに基づいて構築されているため、生物学的な可視性と性能を制限している。 高レベルの動的複雑さのため、現代のニューロンモデルがSNNの実践で実装されることはめったにない。
  論文  参考訳（メタデータ） (2022-03-30T07:50:44Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。