論文の概要: Biologically inspired structure learning with reverse knowledge
distillation for spiking neural networks
- arxiv url: http://arxiv.org/abs/2304.09500v1
- Date: Wed, 19 Apr 2023 08:41:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 15:09:37.004605
- Title: Biologically inspired structure learning with reverse knowledge
distillation for spiking neural networks
- Title（参考訳）: スパイクニューラルネットワークのための逆知識蒸留による生体インスパイア構造学習
- Authors: Qi Xu, Yaxin Li, Xuanye Fang, Jiangrong Shen, Jian K. Liu, Huajin
Tang, Gang Pan
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性から感覚情報認識タスクにおいて非常に優れた特徴を持つ。
現在のスパイクベースのモデルの性能は、完全に接続された構造か深すぎる構造かによって制限されている。
本稿では,より合理的なSNNを構築するための進化的構造構築法を提案する。
- 参考スコア（独自算出の注目度）: 19.33517163587031
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) have superb characteristics in sensory
information recognition tasks due to their biological plausibility. However,
the performance of some current spiking-based models is limited by their
structures which means either fully connected or too-deep structures bring too
much redundancy. This redundancy from both connection and neurons is one of the
key factors hindering the practical application of SNNs. Although Some pruning
methods were proposed to tackle this problem, they normally ignored the fact
the neural topology in the human brain could be adjusted dynamically. Inspired
by this, this paper proposed an evolutionary-based structure construction
method for constructing more reasonable SNNs. By integrating the knowledge
distillation and connection pruning method, the synaptic connections in SNNs
can be optimized dynamically to reach an optimal state. As a result, the
structure of SNNs could not only absorb knowledge from the teacher model but
also search for deep but sparse network topology. Experimental results on
CIFAR100 and DVS-Gesture show that the proposed structure learning method can
get pretty well performance while reducing the connection redundancy. The
proposed method explores a novel dynamical way for structure learning from
scratch in SNNs which could build a bridge to close the gap between deep
learning and bio-inspired neural dynamics.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性から感覚情報認識タスクにおいて非常に優れた特徴を持つ。
しかし、現在のスパイクベースモデルの性能は、完全に接続された構造か深すぎる構造かによって制限されている。
この接続とニューロンの冗長性は、SNNの実用化を妨げる重要な要素の1つである。
この問題に対処するためにいくつかのプルーニング法が提案されたが、彼らは通常、人間の脳の神経トポロジーを動的に調整できるという事実を無視した。
そこで本稿では,より合理的なsns構築のための進化に基づく構造構築手法を提案する。
知識蒸留法と接続切断法を統合することにより、SNNのシナプス接続を動的に最適化して最適な状態にすることができる。
その結果、SNNの構造は教師モデルから知識を吸収するだけでなく、深いが疎いネットワークトポロジーも探すことができた。
CIFAR100 と DVS-Gesture の実験結果から,提案手法は接続冗長性を低減しつつ,高い性能が得られることが示された。
提案手法は,深層学習とバイオインスパイアされた神経力学のギャップを埋めるために橋を架けるSNNにおいて,スクラッチから構造学習を行う新しい動的手法を探索する。
関連論文リスト
- Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - ESL-SNNs: An Evolutionary Structure Learning Strategy for Spiking Neural
Networks [20.33499499020257]
スパイキングニューラルネットワーク(SNN)は、推論プロセス中に消費電力とイベント駆動特性に顕著な優位性を示した。
スパースSNNトレーニングをスクラッチから実装するために,ESL-SNNと呼ばれるSNNのための効率的な進化的構造学習フレームワークを提案する。
本研究は,SNNをスクラッチから切り離し,生物学的に妥当な進化機構で訓練するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-06-06T14:06:11Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳（メタデータ） (2022-06-21T09:42:30Z) - A Synapse-Threshold Synergistic Learning Approach for Spiking Neural
Networks [1.8556712517882232]
スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。
本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
論文 参考訳（メタデータ） (2022-06-10T06:41:36Z) - Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural
Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。
本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
論文 参考訳（メタデータ） (2022-05-31T17:02:26Z) - Motif-topology and Reward-learning improved Spiking Neural Network for
Efficient Multi-sensory Integration [5.161352821775507]
効率的なマルチ感覚統合のためのMotif-topology and Reward-learning improved Spiking Neural Network (MR-SNN)を提案する。
実験の結果,Motifsを用いない従来のSNNに比べて,MR-SNNの精度が高く,強靭性も高いことがわかった。
提案した報奨学習パラダイムは生物学的に妥当であり,視覚的・聴覚的感覚信号の相違による認知的マガーク効果をよりよく説明することができる。
論文 参考訳（メタデータ） (2022-02-11T02:07:44Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。