論文の概要: TCJA-SNN: Temporal-Channel Joint Attention for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2206.10177v1
- Date: Tue, 21 Jun 2022 08:16:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 14:05:44.877477
- Title: TCJA-SNN: Temporal-Channel Joint Attention for Spiking Neural Networks
- Title（参考訳）: TCJA-SNN:スパイクニューラルネットワークのための時空連成注意
- Authors: Rui-Jie Zhu, Qihang Zhao, Tianjing Zhang, Haoyu Deng, Yule Duan, Malu
Zhang, Liang-Jian Deng
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、ニューロンが時間情報を利用することをシミュレートすることによって、よりデータ効率の高いディープラーニングを実現するための実践的なアプローチである。
本稿では,注意機構に依存する効率的なSNN手法であるTCJAアーキテクチャユニットを提案する。
データストリームを共同で探索し、リカバリすることで、トップ1の分類精度で最先端のSOTA(State-of-the-art)を最大15.7%向上させる。
- 参考スコア（独自算出の注目度）: 8.498287824988576
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Spiking Neural Networks (SNNs) is a practical approach toward more
data-efficient deep learning by simulating neurons leverage on temporal
information. In this paper, we propose the Temporal-Channel Joint Attention
(TCJA) architectural unit, an efficient SNN technique that depends on attention
mechanisms, by effectively enforcing the relevance of spike sequence along both
spatial and temporal dimensions. Our essential technical contribution lies on:
1) compressing the spike stream into an average matrix by employing the squeeze
operation, then using two local attention mechanisms with an efficient 1-D
convolution to establish temporal-wise and channel-wise relations for feature
extraction in a flexible fashion. 2) utilizing the Cross Convolutional Fusion
(CCF) layer for modeling inter-dependencies between temporal and channel scope,
which breaks the independence of the two dimensions and realizes the
interaction between features. By virtue of jointly exploring and recalibrating
data stream, our method outperforms the state-of-the-art (SOTA) by up to 15.7%
in terms of top-1 classification accuracy on all tested mainstream static and
neuromorphic datasets, including Fashion-MNIST, CIFAR10-DVS, N-Caltech 101, and
DVS128 Gesture.
- Abstract（参考訳）: spiking neural networks (snns) は、時間的情報を活用するニューロンをシミュレートすることで、よりデータ効率の高いディープラーニングへの実用的なアプローチである。
本稿では,空間次元と時間次元の両方に沿ったスパイクシーケンスの関連性を効果的に強化することにより,注意機構に依存する効率的なSNN手法であるTCJAアーキテクチャユニットを提案する。
私たちの重要な技術的貢献は
1) 圧縮操作を用いてスパイクストリームを平均行列に圧縮し, 効率的な1次元畳み込みによる2つの局所的注意機構を用いて, 特徴抽出のための時間的・チャネル的関係を柔軟な方法で確立する。
2)CCF(Cross Convolutional Fusion)レイヤを用いて時間的・チャネル的スコープ間の相互依存性をモデル化し,2次元の独立性を破り,特徴間の相互作用を実現する。
Fashion-MNIST, CIFAR10-DVS, N-Caltech 101, DVS128 Gestureなど,テスト対象の静的およびニューロモルフィックデータセットの上位1分類精度を最大15.7%向上させる。
関連論文リスト
- Advancing Spiking Neural Networks towards Multiscale Spatiotemporal Interaction Learning [10.702093960098106]
スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)のエネルギー効率の良い代替品として機能する
我々は、マルチスケールの時間的相互作用情報をキャプチャするスパイキング・マルチスケール・アテンション(SMA)モジュールを設計した。
われわれのアプローチは、主流のニューラルネットワークで最先端の結果を得た。
論文 参考訳（メタデータ） (2024-05-22T14:16:05Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - NiSNN-A: Non-iterative Spiking Neural Networks with Attention with
Application to Motor Imagery EEG Classification [7.430549997480745]
運動画像は脳波(EEG)研究において重要なカテゴリである。
従来のディープラーニングアルゴリズムは、重要な計算要求と高エネルギー利用によって特徴付けられる。
スパイクニューラルネットワーク(SNN)は、有望なエネルギー効率のソリューションとして出現する。
論文 参考訳（メタデータ） (2023-12-09T19:13:15Z) - Gated Attention Coding for Training High-performance and Efficient Spiking Neural Networks [22.66931446718083]
Gated Attention Coding (GAC) は、多次元アテンションユニットを利用して入力を効率よく強力な表現にエンコードするプラグイン・アンド・プレイモジュールである。
GACは、SNNのスパイク駆動特性を損なわない前処理層として機能する。
CIFAR10/100とImageNetデータセットの実験では、GACが最先端の精度を目覚ましい効率で達成していることが示されている。
論文 参考訳（メタデータ） (2023-08-12T14:42:02Z) - Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。
我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-29T14:16:49Z) - Attention Spiking Neural Networks [32.591900260554326]
スパイキングニューラルネットワーク(SNN)における注意機構の効果について検討する。
エンド・ツー・エンドのトレーニングを施した新しいSNNアーキテクチャ"MA-SNN"を提案する。
イベントベースDVS128ジェスチャー/歩行動作認識とImageNet-1k画像分類で実験を行った。
論文 参考訳（メタデータ） (2022-09-28T09:00:45Z) - A Spatial-channel-temporal-fused Attention for Spiking Neural Networks [7.759491656618468]
スパイキングニューラルネットワーク(SNN)は、計算戦略を模倣し、情報処理においてかなりの能力を示す。
本研究では,SNNを誘導し,対象領域を効率的に捕捉する空間チャネル時間拡散アテンション(SCTFA)モジュールを提案する。
論文 参考訳（メタデータ） (2022-09-22T07:45:55Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳（メタデータ） (2022-06-21T09:42:30Z) - Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。
本稿では,関係データに対するKENNの拡張を提案する。
論文 参考訳（メタデータ） (2022-05-31T13:00:34Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。