論文の概要: STSC-SNN: Spatio-Temporal Synaptic Connection with Temporal Convolution
and Attention for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2210.05241v1
- Date: Tue, 11 Oct 2022 08:13:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 13:53:07.495767
- Title: STSC-SNN: Spatio-Temporal Synaptic Connection with Temporal Convolution
and Attention for Spiking Neural Networks
- Title（参考訳）: stsc-snn:時間的畳み込みとスパイクニューラルネットワークのための時空間シナプス接続
- Authors: Chengting Yu, Zheming Gu, Da Li, Gaoang Wang, Aili Wang and Erping Li
- Abstract要約: ニューロモルフィックコンピューティングのアルゴリズムモデルの一つであるスパイキングニューラルネットワーク(SNN)は、時間的処理能力のために多くの研究注目を集めている。
SNNの既存のシナプス構造は、ほぼ完全な接続や空間的2次元畳み込みであり、どちらも時間的依存関係を適切に抽出できない。
生体シナプスからインスピレーションを得てシナプス接続SNNモデルを提案し,シナプス接続の時間的受容場を強化する。
時間的依存を伴うシナプスモデルの提供は、分類タスクにおけるSNNの性能を向上させることができることを示す。
- 参考スコア（独自算出の注目度）: 7.422913384086416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs), as one of the algorithmic models in
neuromorphic computing, have gained a great deal of research attention owing to
temporal information processing capability, low power consumption, and high
biological plausibility. The potential to efficiently extract spatio-temporal
features makes it suitable for processing the event streams. However, existing
synaptic structures in SNNs are almost full-connections or spatial 2D
convolution, neither of which can extract temporal dependencies adequately. In
this work, we take inspiration from biological synapses and propose a
spatio-temporal synaptic connection SNN (STSC-SNN) model, to enhance the
spatio-temporal receptive fields of synaptic connections, thereby establishing
temporal dependencies across layers. Concretely, we incorporate temporal
convolution and attention mechanisms to implement synaptic filtering and gating
functions. We show that endowing synaptic models with temporal dependencies can
improve the performance of SNNs on classification tasks. In addition, we
investigate the impact of performance vias varied spatial-temporal receptive
fields and reevaluate the temporal modules in SNNs. Our approach is tested on
neuromorphic datasets, including DVS128 Gesture (gesture recognition), N-MNIST,
CIFAR10-DVS (image classification), and SHD (speech digit recognition). The
results show that the proposed model outperforms the state-of-the-art accuracy
on nearly all datasets.
- Abstract（参考訳）: ニューロモルフィックコンピューティングのアルゴリズムモデルの一つであるスパイキングニューラルネットワーク(SNN)は、時間的情報処理能力、低消費電力、高い生物学的信頼性により、多くの研究の注目を集めている。
時空間的特徴を効率的に抽出する能力は、イベントストリームの処理に適している。
しかし、SNNの既存のシナプス構造は、ほぼ完全な接続や空間的2次元畳み込みであり、どちらも時間的依存関係を適切に抽出できない。
本研究では,生物学的シナプスから着想を得て,時空間的シナプス接続sn(stsc-snn)モデルを提案する。
具体的には,時間的畳み込みと注意機構を取り入れ,シナプスフィルタリングとゲーティング機能を実装する。
時間依存性を持つ内因性シナプスモデルによって分類タスクにおけるsnsの性能が向上することを示す。
さらに,空間的・時間的受容場の変化による性能への影響について検討し,SNNにおける時間的モジュールの再評価を行う。
本手法はDVS128ゲスチャ(ジェスチャー認識)、N-MNIST、CIFAR10-DVS(画像分類)、SHD(音声桁認識)などのニューロモルフィックなデータセットを用いて検討した。
その結果,提案モデルは,ほぼすべてのデータセットにおいて最先端の精度を上回っていることがわかった。
関連論文リスト
- Enhancing SNN-based Spatio-Temporal Learning: A Benchmark Dataset and Cross-Modality Attention Model [30.66645039322337]
高品質なベンチマークデータセットは、ニューラルネットワーク(SNN)の発展に非常に重要である
しかし、SNNベースのクロスモーダル融合はまだ未定である。
本研究では,SNNの時間的特性をよりよく活用できるニューロモルフィックデータセットを提案する。
論文 参考訳（メタデータ） (2024-10-21T06:59:04Z) - Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - Autaptic Synaptic Circuit Enhances Spatio-temporal Predictive Learning of Spiking Neural Networks [23.613277062707844]
Spiking Neural Networks (SNNs) は、生物学的ニューロンで見られる統合ファイアリーク機構をエミュレートする。
既存のSNNは、主にIntegrate-and-Fire Leaky(LIF)モデルに依存している。
本稿では,S-patioTemporal Circuit (STC) モデルを提案する。
論文 参考訳（メタデータ） (2024-06-01T11:17:27Z) - Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。
本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
論文 参考訳（メタデータ） (2024-05-27T05:53:30Z) - Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-02T16:23:50Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Ultra-low Latency Spiking Neural Networks with Spatio-Temporal
Compression and Synaptic Convolutional Block [4.081968050250324]
スパイキングニューラルネットワーク(SNN)は、神経時間情報能力、低処理機能、高い生物学的妥当性を有する。
Neuro-MNIST、CIFAR10-S、DVS128ジェスチャデータセットは、個々のイベントをフレームに集約し、イベントストリーム分類の時間分解能を高める必要がある。
本研究では,NIST電流の時間ステップに個々のイベントを集約し,トレーニングや推論の遅延を低減する処理時間圧縮手法を提案する。
論文 参考訳（メタデータ） (2022-03-18T15:14:13Z) - Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization
in Graph Learning [9.88508686848173]
内在的なダイナミクスを持つ生物学的スパイキングニューロンは、脳の強力な表現力と学習能力を持つ。
ユークリッド空間タスクを処理するためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、非ユークリッド空間データの処理においてSNNを活用することは依然として困難である。
本稿では,グラフ学習のためのSNNの直接学習を可能にする,一般的なスパイクに基づくモデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-30T11:20:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal
Learning of Deep Spiking Neural Network [7.503685643036081]
空間的時間特性を持つ生物解析可能なSNNモデルは複雑な力学系である。
ニューロン非線形性を持つ無限インパルス応答(IIR)フィルタのネットワークとしてSNNを定式化する。
本稿では,最適シナプスフィルタカーネルと重みを求めることにより,時空間パターンを学習できる学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-19T01:27:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。