論文の概要: TCJA-SNN: Temporal-Channel Joint Attention for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2206.10177v2
- Date: Sun, 10 Dec 2023 01:01:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 23:04:52.752119
- Title: TCJA-SNN: Temporal-Channel Joint Attention for Spiking Neural Networks
- Title（参考訳）: TCJA-SNN:スパイクニューラルネットワークのための時空連成注意
- Authors: Rui-Jie Zhu, Qihang Zhao, Tianjing Zhang, Haoyu Deng, Yule Duan, Malu
Zhang, Liang-Jian Deng
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、生物学的妥当性、エネルギー効率、強力な時間情報表現能力によって、広く関心を集めている。
本稿では,TJA-SNNと呼ばれるSNNの時間・チャネル共同注意機構について述べる。
提案するTJA-SNNフレームワークは,空間次元と時間次元の両方からスパイクシーケンスの意義を効果的に評価することができる。
- 参考スコア（独自算出の注目度）: 26.379073358153384
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Spiking Neural Networks (SNNs) are attracting widespread interest due to
their biological plausibility, energy efficiency, and powerful spatio-temporal
information representation ability. Given the critical role of attention
mechanisms in enhancing neural network performance, the integration of SNNs and
attention mechanisms exhibits potential to deliver energy-efficient and
high-performance computing paradigms. We present a novel Temporal-Channel Joint
Attention mechanism for SNNs, referred to as TCJA-SNN. The proposed TCJA-SNN
framework can effectively assess the significance of spike sequence from both
spatial and temporal dimensions. More specifically, our essential technical
contribution lies on: 1) We employ the squeeze operation to compress the spike
stream into an average matrix. Then, we leverage two local attention mechanisms
based on efficient 1D convolutions to facilitate comprehensive feature
extraction at the temporal and channel levels independently. 2) We introduce
the Cross Convolutional Fusion (CCF) layer as a novel approach to model the
inter-dependencies between the temporal and channel scopes. This layer breaks
the independence of these two dimensions and enables the interaction between
features. Experimental results demonstrate that the proposed TCJA-SNN
outperforms SOTA by up to 15.7% accuracy on standard static and neuromorphic
datasets, including Fashion-MNIST, CIFAR10-DVS, N-Caltech 101, and DVS128
Gesture. Furthermore, we apply the TCJA-SNN framework to image generation tasks
by leveraging a variation autoencoder. To the best of our knowledge, this study
is the first instance where the SNN-attention mechanism has been employed for
image classification and generation tasks. Notably, our approach has achieved
SOTA performance in both domains, establishing a significant advancement in the
field. Codes are available at https://github.com/ridgerchu/TCJA.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、生物学的妥当性、エネルギー効率、強力な時空間情報表現能力によって広く関心を集めている。
ニューラルネットワークの性能向上における注意機構の重要な役割を考えると、SNNと注意機構の統合は、エネルギー効率と高性能コンピューティングパラダイムを提供する可能性を示している。
本稿では,TJA-SNNと呼ばれるSNNの時間・チャネル共同注意機構について述べる。
提案するtcja-snnフレームワークは,空間次元と時間次元の両方からスパイクシーケンスの意義を効果的に評価できる。
より具体的に言えば、我々の重要な技術的貢献は
1) スパイクストリームを平均行列に圧縮するために, 圧縮操作を用いる。
そして,効率的な1次元畳み込みに基づく2つの局所的注意機構を活用し,時間・チャネルレベルでの包括的特徴抽出を容易にする。
2) 時間領域とチャネル領域の相互依存性をモデル化するための新しいアプローチとして, クロス畳み込み融合(ccf)層を導入する。
このレイヤは2つの次元の独立性を破り、機能間の相互作用を可能にします。
実験の結果、提案されたTJA-SNNは、Fashion-MNIST、CIFAR10-DVS、N-Caltech 101、DVS128 Gestureなど、標準的な静的およびニューロモルフィックなデータセットで最大15.7%の精度でSOTAを上回った。
さらに、可変オートエンコーダを利用して画像生成タスクにTJA-SNNフレームワークを適用する。
我々の知る限り、この研究は、画像分類と生成タスクにSNNアテンション機構が採用された最初の事例である。
特に,本手法は両領域でSOTA性能を達成し,この分野において大きな進歩を遂げた。
コードはhttps://github.com/ridgerchu/TCJA.comで入手できる。
関連論文リスト
- Advancing Spiking Neural Networks towards Multiscale Spatiotemporal Interaction Learning [10.702093960098106]
スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)のエネルギー効率の良い代替品として機能する
我々は、マルチスケールの時間的相互作用情報をキャプチャするスパイキング・マルチスケール・アテンション(SMA)モジュールを設計した。
われわれのアプローチは、主流のニューラルネットワークで最先端の結果を得た。
論文 参考訳（メタデータ） (2024-05-22T14:16:05Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - NiSNN-A: Non-iterative Spiking Neural Networks with Attention with
Application to Motor Imagery EEG Classification [7.430549997480745]
運動画像は脳波(EEG)研究において重要なカテゴリである。
従来のディープラーニングアルゴリズムは、重要な計算要求と高エネルギー利用によって特徴付けられる。
スパイクニューラルネットワーク(SNN)は、有望なエネルギー効率のソリューションとして出現する。
論文 参考訳（メタデータ） (2023-12-09T19:13:15Z) - Gated Attention Coding for Training High-performance and Efficient Spiking Neural Networks [22.66931446718083]
Gated Attention Coding (GAC) は、多次元アテンションユニットを利用して入力を効率よく強力な表現にエンコードするプラグイン・アンド・プレイモジュールである。
GACは、SNNのスパイク駆動特性を損なわない前処理層として機能する。
CIFAR10/100とImageNetデータセットの実験では、GACが最先端の精度を目覚ましい効率で達成していることが示されている。
論文 参考訳（メタデータ） (2023-08-12T14:42:02Z) - Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。
我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-29T14:16:49Z) - Attention Spiking Neural Networks [32.591900260554326]
スパイキングニューラルネットワーク(SNN)における注意機構の効果について検討する。
エンド・ツー・エンドのトレーニングを施した新しいSNNアーキテクチャ"MA-SNN"を提案する。
イベントベースDVS128ジェスチャー/歩行動作認識とImageNet-1k画像分類で実験を行った。
論文 参考訳（メタデータ） (2022-09-28T09:00:45Z) - A Spatial-channel-temporal-fused Attention for Spiking Neural Networks [7.759491656618468]
スパイキングニューラルネットワーク(SNN)は、計算戦略を模倣し、情報処理においてかなりの能力を示す。
本研究では,SNNを誘導し,対象領域を効率的に捕捉する空間チャネル時間拡散アテンション(SCTFA)モジュールを提案する。
論文 参考訳（メタデータ） (2022-09-22T07:45:55Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳（メタデータ） (2022-06-21T09:42:30Z) - Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。
本稿では,関係データに対するKENNの拡張を提案する。
論文 参考訳（メタデータ） (2022-05-31T13:00:34Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。