論文の概要: Attention Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2209.13929v1
- Date: Wed, 28 Sep 2022 09:00:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 17:12:39.929010
- Title: Attention Spiking Neural Networks
- Title(参考訳): 注意を喚起するニューラルネットワーク
- Authors: Man Yao, Guangshe Zhao, Hengyu Zhang, Yifan Hu, Lei Deng, Yonghong
Tian, Bo Xu, and Guoqi Li
- Abstract要約: スパイキングニューラルネットワーク(SNN)における注意機構の効果について検討する。
エンド・ツー・エンドのトレーニングを施した新しいSNNアーキテクチャ"MA-SNN"を提案する。
イベントベースDVS128ジェスチャー/歩行動作認識とImageNet-1k画像分類で実験を行った。
- 参考スコア(独自算出の注目度): 32.591900260554326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Benefiting from the event-driven and sparse spiking characteristics of the
brain, spiking neural networks (SNNs) are becoming an energy-efficient
alternative to artificial neural networks (ANNs). However, the performance gap
between SNNs and ANNs has been a great hindrance to deploying SNNs ubiquitously
for a long time. To leverage the full potential of SNNs, we study the effect of
attention mechanisms in SNNs. We first present our idea of attention with a
plug-and-play kit, termed the Multi-dimensional Attention (MA). Then, a new
attention SNN architecture with end-to-end training called "MA-SNN" is
proposed, which infers attention weights along the temporal, channel, as well
as spatial dimensions separately or simultaneously. Based on the existing
neuroscience theories, we exploit the attention weights to optimize membrane
potentials, which in turn regulate the spiking response in a data-dependent
way. At the cost of negligible additional parameters, MA facilitates vanilla
SNNs to achieve sparser spiking activity, better performance, and energy
efficiency concurrently. Experiments are conducted in event-based DVS128
Gesture/Gait action recognition and ImageNet-1k image classification. On
Gesture/Gait, the spike counts are reduced by 84.9%/81.6%, and the task
accuracy and energy efficiency are improved by 5.9%/4.7% and
3.4$\times$/3.2$\times$. On ImageNet-1K, we achieve top-1 accuracy of 75.92%
and 77.08% on single/4-step Res-SNN-104, which are state-of-the-art results in
SNNs. To our best knowledge, this is for the first time, that the SNN community
achieves comparable or even better performance compared with its ANN
counterpart in the large-scale dataset. Our work lights up SNN's potential as a
general backbone to support various applications for SNNs, with a great balance
between effectiveness and efficiency.
- Abstract(参考訳): 脳のイベント駆動的かつスパーススパイキング特性の恩恵を受け、スパイキングニューラルネットワーク(snn)は、ニューラルネットワーク(anns)のエネルギー効率のよい代替手段になりつつある。
しかしながら、SNNとANNのパフォーマンスギャップは、長い間、SNNをユビキタスにデプロイする上で大きな障害となっている。
本研究では,SNNにおける注意機構の効果について検討する。
まず,多次元注意 (MA) と呼ばれるプラグ・アンド・プレイキットで注意を喚起する。
そこで, 時間, チャネル, 空間次元に沿った注意重みを別々に, 同時に推定する「MA-SNN」と呼ばれる, エンドツーエンドトレーニングによる新しい注目SNNアーキテクチャを提案する。
既存の神経科学理論に基づいて、注意重みを利用して膜電位を最適化し、データ依存的にスパイク反応を調節する。
不可分な追加パラメータのコストで、maはバニラsnsを促進させ、スパーサースパイキング活性、性能向上、エネルギー効率を同時に達成する。
イベントベースDVS128ジェスチャー/歩行動作認識とImageNet-1k画像分類で実験を行った。
ジェスチャー/歩行ではスパイク数が84.9%/81.6%減少し、タスクの精度とエネルギー効率が5.9%/4.7%向上し、3.4$\times$/3.2$\times$となる。
ImageNet-1Kでは、SNNの最先端結果であるシングル/4ステップのRes-SNN-104において、トップ1の精度75.92%と77.08%を達成する。
私たちの知る限りでは、SNNコミュニティが大規模なデータセットでANNと同等あるいはそれ以上のパフォーマンスを達成したのは、これが初めてです。
当社の作業は、SNNのさまざまなアプリケーションをサポートするための一般的なバックボーンとして、効率と効率のバランスを保ちながら、SNNの可能性を浮き彫りにしています。
関連論文リスト
- A Hybrid ANN-SNN Architecture for Low-Power and Low-Latency Visual
Perception [49.877675666360695]
Spiking Neural Networks(SNN)は、バイオインスパイアされたニューラルネットワークの一種で、エッジデバイスに低消費電力で低レイテンシな推論をもたらすことを約束する。
イベントベース2Dおよび3Dヒューマンポーズ推定の課題について,本手法では,ANNに比べて性能を4%低下させることなく,88%の消費電力を消費することを示した。
論文 参考訳(メタデータ) (2023-03-24T17:38:45Z) - Skip Connections in Spiking Neural Networks: An Analysis of Their Effect
on Network Training [0.8602553195689513]
従来の人工ニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が注目を集めている。
本稿では,SNNにおけるスキップ接続の影響について検討し,ANNからSNNへのモデル適応を行うハイパーパラメータ最適化手法を提案する。
本研究では,SNNの位置,タイプ,回数を最適化することで,SNNの精度と効率を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-03-23T07:57:32Z) - Spikeformer: A Novel Architecture for Training High-Performance
Low-Latency Spiking Neural Network [6.8125324121155275]
静的データセットとニューロモルフィックデータセットの両方において,トランスフォーマーをベースとした新しいSNNであるSpikeformerを提案する。
注目すべきは、SpikeformerはImageNet上の他のSNNよりも大きなマージン(5%以上)で、DVS-GestureとImageNetでANNよりも3.1%、そして2.2%高いパフォーマンスである。
論文 参考訳(メタデータ) (2022-11-19T12:49:22Z) - Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。
我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-29T14:16:49Z) - Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking
Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。
スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。
実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
論文 参考訳(メタデータ) (2022-09-21T21:17:56Z) - SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking
Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。
本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。
実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文 参考訳(メタデータ) (2022-06-19T16:52:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Advancing Residual Learning towards Powerful Deep Spiking Neural
Networks [16.559670769601038]
残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。
MS-ResNetは、直接訓練されたSNNの深さを大幅に拡張することができる。
MS-ResNet 104はImageNetで76.02%の精度を達成した。
論文 参考訳(メタデータ) (2021-12-15T05:47:21Z) - Spiking Neural Networks for Visual Place Recognition via Weighted
Neuronal Assignments [24.754429120321365]
スパイキングニューラルネットワーク(SNN)は、エネルギー効率と低レイテンシを含む、魅力的な潜在的な利点を提供する。
高性能SNNにとって有望な領域の1つは、テンプレートマッチングと画像認識である。
本研究では,視覚的位置認識(VPR)タスクのための最初の高性能SNNを紹介する。
論文 参考訳(メタデータ) (2021-09-14T05:40:40Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳(メタデータ) (2020-06-03T15:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。