論文の概要: Attention Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2209.13929v1
- Date: Wed, 28 Sep 2022 09:00:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 17:12:39.929010
- Title: Attention Spiking Neural Networks
- Title（参考訳）: 注意を喚起するニューラルネットワーク
- Authors: Man Yao, Guangshe Zhao, Hengyu Zhang, Yifan Hu, Lei Deng, Yonghong
Tian, Bo Xu, and Guoqi Li
- Abstract要約: スパイキングニューラルネットワーク(SNN)における注意機構の効果について検討する。
エンド・ツー・エンドのトレーニングを施した新しいSNNアーキテクチャ"MA-SNN"を提案する。
イベントベースDVS128ジェスチャー/歩行動作認識とImageNet-1k画像分類で実験を行った。
- 参考スコア（独自算出の注目度）: 32.591900260554326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Benefiting from the event-driven and sparse spiking characteristics of the
brain, spiking neural networks (SNNs) are becoming an energy-efficient
alternative to artificial neural networks (ANNs). However, the performance gap
between SNNs and ANNs has been a great hindrance to deploying SNNs ubiquitously
for a long time. To leverage the full potential of SNNs, we study the effect of
attention mechanisms in SNNs. We first present our idea of attention with a
plug-and-play kit, termed the Multi-dimensional Attention (MA). Then, a new
attention SNN architecture with end-to-end training called "MA-SNN" is
proposed, which infers attention weights along the temporal, channel, as well
as spatial dimensions separately or simultaneously. Based on the existing
neuroscience theories, we exploit the attention weights to optimize membrane
potentials, which in turn regulate the spiking response in a data-dependent
way. At the cost of negligible additional parameters, MA facilitates vanilla
SNNs to achieve sparser spiking activity, better performance, and energy
efficiency concurrently. Experiments are conducted in event-based DVS128
Gesture/Gait action recognition and ImageNet-1k image classification. On
Gesture/Gait, the spike counts are reduced by 84.9%/81.6%, and the task
accuracy and energy efficiency are improved by 5.9%/4.7% and
3.4$\times$/3.2$\times$. On ImageNet-1K, we achieve top-1 accuracy of 75.92%
and 77.08% on single/4-step Res-SNN-104, which are state-of-the-art results in
SNNs. To our best knowledge, this is for the first time, that the SNN community
achieves comparable or even better performance compared with its ANN
counterpart in the large-scale dataset. Our work lights up SNN's potential as a
general backbone to support various applications for SNNs, with a great balance
between effectiveness and efficiency.
- Abstract（参考訳）: 脳のイベント駆動的かつスパーススパイキング特性の恩恵を受け、スパイキングニューラルネットワーク(snn)は、ニューラルネットワーク(anns)のエネルギー効率のよい代替手段になりつつある。
しかしながら、SNNとANNのパフォーマンスギャップは、長い間、SNNをユビキタスにデプロイする上で大きな障害となっている。
本研究では,SNNにおける注意機構の効果について検討する。
まず,多次元注意 (MA) と呼ばれるプラグ・アンド・プレイキットで注意を喚起する。
そこで, 時間, チャネル, 空間次元に沿った注意重みを別々に, 同時に推定する「MA-SNN」と呼ばれる, エンドツーエンドトレーニングによる新しい注目SNNアーキテクチャを提案する。
既存の神経科学理論に基づいて、注意重みを利用して膜電位を最適化し、データ依存的にスパイク反応を調節する。
不可分な追加パラメータのコストで、maはバニラsnsを促進させ、スパーサースパイキング活性、性能向上、エネルギー効率を同時に達成する。
イベントベースDVS128ジェスチャー/歩行動作認識とImageNet-1k画像分類で実験を行った。
ジェスチャー/歩行ではスパイク数が84.9%/81.6%減少し、タスクの精度とエネルギー効率が5.9%/4.7%向上し、3.4$\times$/3.2$\times$となる。
ImageNet-1Kでは、SNNの最先端結果であるシングル/4ステップのRes-SNN-104において、トップ1の精度75.92%と77.08%を達成する。
私たちの知る限りでは、SNNコミュニティが大規模なデータセットでANNと同等あるいはそれ以上のパフォーマンスを達成したのは、これが初めてです。
当社の作業は、SNNのさまざまなアプリケーションをサポートするための一般的なバックボーンとして、効率と効率のバランスを保ちながら、SNNの可能性を浮き彫りにしています。
関連論文リスト
- Scaling Spike-driven Transformer with Efficient Spike Firing Approximation Training [17.193023656793464]
脳にインスパイアされたスパイキングニューラルネットワーク(SNN)の野望は、従来のニューラルネットワーク(ANN)に代わる低消費電力な代替手段になることである。
この作業は、SNNとANNのパフォーマンスギャップと、SNNの高トレーニングコストという、このビジョンを実現する上での2つの大きな課題に対処する。
本研究では,2次発火機構によるスパイクニューロンの固有の欠陥を同定し,整数学習とスパイク駆動推論を用いたスパイクフィリング近似(SFA)法を提案する。
論文 参考訳（メタデータ） (2024-11-25T03:05:41Z) - NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。
我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。
さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文 参考訳（メタデータ） (2024-08-28T02:17:58Z) - Enhancing Adversarial Robustness in SNNs with Sparse Gradients [46.15229142258264]
スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率の高い操作と生物学的にインスパイアされた構造に対して大きな注目を集めている。
既存の技術は、ANNから適応したものであれ、SNNのために特別に設計されたものであれ、SNNの訓練や強力な攻撃に対する防御に制限がある。
本稿では,SNNの頑健性を高めるための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T05:39:27Z) - Spikeformer: A Novel Architecture for Training High-Performance
Low-Latency Spiking Neural Network [6.8125324121155275]
静的データセットとニューロモルフィックデータセットの両方において,トランスフォーマーをベースとした新しいSNNであるSpikeformerを提案する。
注目すべきは、SpikeformerはImageNet上の他のSNNよりも大きなマージン(5%以上)で、DVS-GestureとImageNetでANNよりも3.1%、そして2.2%高いパフォーマンスである。
論文 参考訳（メタデータ） (2022-11-19T12:49:22Z) - Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking
Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。
スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。
実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
論文 参考訳（メタデータ） (2022-09-21T21:17:56Z) - SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking
Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。
本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。
実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文 参考訳（メタデータ） (2022-06-19T16:52:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Advancing Residual Learning towards Powerful Deep Spiking Neural
Networks [16.559670769601038]
残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。
MS-ResNetは、直接訓練されたSNNの深さを大幅に拡張することができる。
MS-ResNet 104はImageNetで76.02%の精度を達成した。
論文 参考訳（メタデータ） (2021-12-15T05:47:21Z) - Spiking Neural Networks for Visual Place Recognition via Weighted
Neuronal Assignments [24.754429120321365]
スパイキングニューラルネットワーク(SNN)は、エネルギー効率と低レイテンシを含む、魅力的な潜在的な利点を提供する。
高性能SNNにとって有望な領域の1つは、テンプレートマッチングと画像認識である。
本研究では,視覚的位置認識(VPR)タスクのための最初の高性能SNNを紹介する。
論文 参考訳（メタデータ） (2021-09-14T05:40:40Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳（メタデータ） (2020-06-03T15:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。