論文の概要: TCJA-SNN: Temporal-Channel Joint Attention for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2206.10177v3
- Date: Wed, 17 Apr 2024 17:36:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 20:09:36.142680
- Title: TCJA-SNN: Temporal-Channel Joint Attention for Spiking Neural Networks
- Title（参考訳）: TCJA-SNN:スパイクニューラルネットワークのための時空連成注意
- Authors: Rui-Jie Zhu, Malu Zhang, Qihang Zhao, Haoyu Deng, Yule Duan, Liang-Jian Deng,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、生物学的妥当性、エネルギー効率、強力な時間情報表現能力によって、広く関心を集めている。
本稿では,TJA-SNNと呼ばれるSNNの時間・チャネル共同注意機構について述べる。
提案するTJA-SNNフレームワークは,空間次元と時間次元の両方からスパイクシーケンスの意義を効果的に評価することができる。
- 参考スコア（独自算出の注目度）: 22.965024490694525
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Spiking Neural Networks (SNNs) are attracting widespread interest due to their biological plausibility, energy efficiency, and powerful spatio-temporal information representation ability. Given the critical role of attention mechanisms in enhancing neural network performance, the integration of SNNs and attention mechanisms exhibits potential to deliver energy-efficient and high-performance computing paradigms. We present a novel Temporal-Channel Joint Attention mechanism for SNNs, referred to as TCJA-SNN. The proposed TCJA-SNN framework can effectively assess the significance of spike sequence from both spatial and temporal dimensions. More specifically, our essential technical contribution lies on: 1) We employ the squeeze operation to compress the spike stream into an average matrix. Then, we leverage two local attention mechanisms based on efficient 1D convolutions to facilitate comprehensive feature extraction at the temporal and channel levels independently. 2) We introduce the Cross Convolutional Fusion (CCF) layer as a novel approach to model the inter-dependencies between the temporal and channel scopes. This layer breaks the independence of these two dimensions and enables the interaction between features. Experimental results demonstrate that the proposed TCJA-SNN outperforms SOTA by up to 15.7% accuracy on standard static and neuromorphic datasets, including Fashion-MNIST, CIFAR10-DVS, N-Caltech 101, and DVS128 Gesture. Furthermore, we apply the TCJA-SNN framework to image generation tasks by leveraging a variation autoencoder. To the best of our knowledge, this study is the first instance where the SNN-attention mechanism has been employed for image classification and generation tasks. Notably, our approach has achieved SOTA performance in both domains, establishing a significant advancement in the field. Codes are available at https://github.com/ridgerchu/TCJA.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、生物学的な可視性、エネルギー効率、強力な時空間情報表現能力によって、広く関心を集めている。
ニューラルネットワークの性能向上において注意機構が重要な役割を担っていることから、SNNと注意機構の統合は、エネルギー効率と高性能コンピューティングパラダイムを提供する可能性を示している。
本稿では,TJA-SNNと呼ばれるSNNの時間・チャネル共同注意機構について述べる。
提案するTJA-SNNフレームワークは,空間次元と時間次元の両方からスパイクシーケンスの意義を効果的に評価することができる。
より具体的に言えば、私たちの重要な技術的貢献は次のとおりです。
1) スパイクストリームを平均行列に圧縮するために, 圧縮操作を用いる。
そして,効率的な1次元畳み込みに基づく2つの局所的注意機構を活用し,時間・チャネルレベルでの包括的特徴抽出を容易にする。
2) 時間領域とチャネル領域の相互依存性をモデル化するための新しいアプローチとして,クロス・コンボリューショナル・フュージョン(CCF)層を導入する。
このレイヤは2つの次元の独立性を破り、機能間の相互作用を可能にします。
実験の結果、提案されたTJA-SNNは、Fashion-MNIST、CIFAR10-DVS、N-Caltech 101、DVS128 Gestureなど、標準的な静的およびニューロモルフィックなデータセットで最大15.7%の精度でSOTAを上回った。
さらに、可変オートエンコーダを利用して、画像生成タスクにTJA-SNNフレームワークを適用する。
我々の知る限り、この研究は、画像分類と生成タスクにSNNアテンション機構が採用された最初の事例である。
特に,本手法は両領域でSOTA性能を達成し,この分野において大きな進歩を遂げた。
コードはhttps://github.com/ridgerchu/TCJA.comで入手できる。
関連論文リスト
- Advancing Spiking Neural Networks towards Multiscale Spatiotemporal Interaction Learning [10.702093960098106]
スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)のエネルギー効率の良い代替品として機能する
我々は、マルチスケールの時間的相互作用情報をキャプチャするスパイキング・マルチスケール・アテンション(SMA)モジュールを設計した。
われわれのアプローチは、主流のニューラルネットワークで最先端の結果を得た。
論文 参考訳（メタデータ） (2024-05-22T14:16:05Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - NiSNN-A: Non-iterative Spiking Neural Networks with Attention with
Application to Motor Imagery EEG Classification [7.430549997480745]
運動画像は脳波(EEG)研究において重要なカテゴリである。
従来のディープラーニングアルゴリズムは、重要な計算要求と高エネルギー利用によって特徴付けられる。
スパイクニューラルネットワーク(SNN)は、有望なエネルギー効率のソリューションとして出現する。
論文 参考訳（メタデータ） (2023-12-09T19:13:15Z) - Gated Attention Coding for Training High-performance and Efficient Spiking Neural Networks [22.66931446718083]
Gated Attention Coding (GAC) は、多次元アテンションユニットを利用して入力を効率よく強力な表現にエンコードするプラグイン・アンド・プレイモジュールである。
GACは、SNNのスパイク駆動特性を損なわない前処理層として機能する。
CIFAR10/100とImageNetデータセットの実験では、GACが最先端の精度を目覚ましい効率で達成していることが示されている。
論文 参考訳（メタデータ） (2023-08-12T14:42:02Z) - Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。
我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-29T14:16:49Z) - Attention Spiking Neural Networks [32.591900260554326]
スパイキングニューラルネットワーク(SNN)における注意機構の効果について検討する。
エンド・ツー・エンドのトレーニングを施した新しいSNNアーキテクチャ"MA-SNN"を提案する。
イベントベースDVS128ジェスチャー/歩行動作認識とImageNet-1k画像分類で実験を行った。
論文 参考訳（メタデータ） (2022-09-28T09:00:45Z) - A Spatial-channel-temporal-fused Attention for Spiking Neural Networks [7.759491656618468]
スパイキングニューラルネットワーク(SNN)は、計算戦略を模倣し、情報処理においてかなりの能力を示す。
本研究では,SNNを誘導し,対象領域を効率的に捕捉する空間チャネル時間拡散アテンション(SCTFA)モジュールを提案する。
論文 参考訳（メタデータ） (2022-09-22T07:45:55Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳（メタデータ） (2022-06-21T09:42:30Z) - Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。
本稿では,関係データに対するKENNの拡張を提案する。
論文 参考訳（メタデータ） (2022-05-31T13:00:34Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。