論文の概要: Inherent Redundancy in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2308.08227v1
• Date: Wed, 16 Aug 2023 08:58:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 14:14:31.481064
• Title: Inherent Redundancy in Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおける固有冗長性
• Authors: Man Yao, Jiakui Hu, Guangshe Zhao, Yaoyuan Wang, Ziyang Zhang, Bo Xu, Guoqi Li
• Abstract要約: スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。 本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。 本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
• 参考スコア（独自算出の注目度）: 24.114844269113746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) are well known as a promising energy-efficient alternative to conventional artificial neural networks. Subject to the preconceived impression that SNNs are sparse firing, the analysis and optimization of inherent redundancy in SNNs have been largely overlooked, thus the potential advantages of spike-based neuromorphic computing in accuracy and energy efficiency are interfered. In this work, we pose and focus on three key questions regarding the inherent redundancy in SNNs. We argue that the redundancy is induced by the spatio-temporal invariance of SNNs, which enhances the efficiency of parameter utilization but also invites lots of noise spikes. Further, we analyze the effect of spatio-temporal invariance on the spatio-temporal dynamics and spike firing of SNNs. Then, motivated by these analyses, we propose an Advance Spatial Attention (ASA) module to harness SNNs' redundancy, which can adaptively optimize their membrane potential distribution by a pair of individual spatial attention sub-modules. In this way, noise spike features are accurately regulated. Experimental results demonstrate that the proposed method can significantly drop the spike firing with better performance than state-of-the-art SNN baselines. Our code is available in \url{https://github.com/BICLab/ASA-SNN}.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替としてよく知られている。 SNNが疎発であるという先入観的な印象を受け、SNNの固有冗長性の解析と最適化は概ね見過ごされ、精度とエネルギー効率におけるスパイクベースのニューロモルフィックコンピューティングの潜在的な利点が妨げられている。 本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。 この冗長性はSNNの時空間不変性によって引き起こされるものであり、パラメータ利用の効率を高めるだけでなく、多くのノイズスパイクを招き込む。 さらに, 時空間変動がSNNの時空間ダイナミクスおよびスパイク発火に及ぼす影響を解析した。 そこで本研究では,snsの冗長性を活かし,個別の空間的注意サブモジュールによる膜電位分布を適応的に最適化する前置型空間的注意(asa)モジュールを提案する。 このように、ノイズスパイク特性を正確に調整する。 実験結果から,提案手法は現状のSNNベースラインよりも高い性能でスパイク発射を著しく低減できることが示された。 私たちのコードは \url{https://github.com/BICLab/ASA-SNN} で利用可能です。

関連論文リスト

• Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
  スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。 本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。 提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-04T09:07:09Z)
• Low Latency of object detection for spikng neural network [3.404826786562694]
  スパイキングニューラルネットワークは、バイナリスパイクの性質のため、エッジAIアプリケーションに適している。 本稿では,オブジェクト検出に特化して,高精度で低遅延なSNNを生成することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-09-27T10:26:19Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
  スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。 既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:39:46Z)
• Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
  ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。 スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。 実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
  論文  参考訳（メタデータ） (2022-09-21T21:17:56Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Spiking Neural Networks for Visual Place Recognition via Weighted Neuronal Assignments [24.754429120321365]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率と低レイテンシを含む、魅力的な潜在的な利点を提供する。 高性能SNNにとって有望な領域の1つは、テンプレートマッチングと画像認識である。 本研究では,視覚的位置認識(VPR)タスクのための最初の高性能SNNを紹介する。
  論文  参考訳（メタデータ） (2021-09-14T05:40:40Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Inherent Adversarial Robustness of Deep Spiking Neural Networks: Effects of Discrete Input Encoding and Non-Linear Activations [9.092733355328251]
  スパイキングニューラルネットワーク(SNN)は、敵対的攻撃に対する固有の堅牢性の候補である。 本研究では、勾配に基づく攻撃によるSNNの対向精度が、非スパイク攻撃よりも高いことを示す。
  論文  参考訳（メタデータ） (2020-03-23T17:20:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。