論文の概要: On the Intrinsic Structures of Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2207.04876v3
- Date: Thu, 16 Nov 2023 13:17:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 18:42:44.276457
- Title: On the Intrinsic Structures of Spiking Neural Networks
- Title(参考訳): スパイクニューラルネットワークの内在構造について
- Authors: Shao-Qun Zhang, Jia-Yi Chen, Jin-Hui Wu, Gao Zhang, Huan Xiong, Bin
Gu, Zhi-Hua Zhou
- Abstract要約: 近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
- 参考スコア(独自算出の注目度): 66.57589494713515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have emerged a surge of interest in SNNs owing to their
remarkable potential to handle time-dependent and event-driven data. The
performance of SNNs hinges not only on selecting an apposite architecture and
fine-tuning connection weights, similar to conventional ANNs, but also on the
meticulous configuration of intrinsic structures within spiking computations.
However, there has been a dearth of comprehensive studies examining the impact
of intrinsic structures. Consequently, developers often find it challenging to
apply a standardized configuration of SNNs across diverse datasets or tasks.
This work delves deep into the intrinsic structures of SNNs. Initially, we
unveil two pivotal components of intrinsic structures: the integration
operation and firing-reset mechanism, by elucidating their influence on the
expressivity of SNNs. Furthermore, we draw two key conclusions: the membrane
time hyper-parameter is intimately linked to the eigenvalues of the integration
operation, dictating the functional topology of spiking dynamics, and various
hyper-parameters of the firing-reset mechanism govern the overall firing
capacity of an SNN, mitigating the injection ratio or sampling density of input
data. These findings elucidate why the efficacy of SNNs hinges heavily on the
configuration of intrinsic structures and lead to a recommendation that
enhancing the adaptability of these structures contributes to improving the
overall performance and applicability of SNNs. Inspired by this recognition, we
propose two feasible approaches to enhance SNN learning. These involve
leveraging self-connection architectures and employing stochastic spiking
neurons to augment the adaptability of the integration operation and
firing-reset mechanism, respectively. We verify the effectiveness of the
proposed methods from perspectives of theory and practice.
- Abstract(参考訳): 近年、時間依存やイベント駆動のデータを扱う大きな可能性から、SNNへの関心が高まっている。
SNNの性能は、従来のANNと同様、アポサイトアーキテクチャと微調整接続重みの選択だけでなく、スパイキング計算における固有の構造を巧妙に構成する上でも有効である。
しかし,本質的構造の影響を総合的に検討する研究が数多く行われている。
その結果、開発者は、さまざまなデータセットやタスクにまたがってSNNの標準化された構成を適用することが難しいと感じることが多い。
この研究はSNNの本質的な構造を深く掘り下げている。
当初我々は,SNNの表現性への影響を解明し,統合操作と発火リセット機構という,内在的構造の2つの重要な要素を明らかにした。
さらに、2つの重要な結論を導いた: 膜時間ハイパーパラメータは、積分操作の固有値と密接に関連し、スパイキングダイナミクスの関数トポロジーを予測し、発火・リセット機構の様々なハイパーパラメータは、SNNの全体点火能力を管理し、入力データの注入比やサンプリング密度を緩和する。
これらの結果はsnsの有効性が本質構造の構成に大きく依存する理由を解明し,snsの適応性の向上がsnsの全体的な性能と適用性の向上に寄与することを示す。
この認識に触発されて、SNN学習を強化するための2つの実現可能なアプローチを提案する。
これらには、自己結合アーキテクチャの活用と、統合操作の適応性を高めるために確率的スパイキングニューロンの活用が含まれる。
提案手法の有効性を理論と実践の観点から検証する。
関連論文リスト
- Efficient and Effective Time-Series Forecasting with Spiking Neural
Networks [50.195087118884665]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-02T16:23:50Z) - TIM: An Efficient Temporal Interaction Module for Spiking Transformer [6.274228499442209]
スパイキングニューラルネットワーク(SNN)はその生物学的妥当性と計算効率で有名になった。
ニューラルネットワークアーキテクチャの進歩にインスパイアされた注意機構の統合は、スパイキングトランスフォーマーの開発につながった。
これらは、SNNの機能強化、特に静的データセットとニューロモルフィックデータセットの両方の領域において、有望であることを示している。
本稿では,SNNアーキテクチャにおける時間的データ処理能力を高めるために,TIM(Temporal Interaction Module)を導入した。
論文 参考訳(メタデータ) (2024-01-22T04:54:42Z) - Inherent Redundancy in Spiking Neural Networks [24.114844269113746]
スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。
本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。
本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
論文 参考訳(メタデータ) (2023-08-16T08:58:25Z) - Biologically inspired structure learning with reverse knowledge
distillation for spiking neural networks [19.33517163587031]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性から感覚情報認識タスクにおいて非常に優れた特徴を持つ。
現在のスパイクベースのモデルの性能は、完全に接続された構造か深すぎる構造かによって制限されている。
本稿では,より合理的なSNNを構築するための進化的構造構築法を提案する。
論文 参考訳(メタデータ) (2023-04-19T08:41:17Z) - A Synapse-Threshold Synergistic Learning Approach for Spiking Neural
Networks [1.8556712517882232]
スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。
本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
論文 参考訳(メタデータ) (2022-06-10T06:41:36Z) - Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。
本稿では,関係データに対するKENNの拡張を提案する。
論文 参考訳(メタデータ) (2022-05-31T13:00:34Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and
Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。
適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。
MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
論文 参考訳(メタデータ) (2021-05-27T08:38:31Z) - Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。
その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文 参考訳(メタデータ) (2020-09-13T21:12:20Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳(メタデータ) (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。