論文の概要: A Synapse-Threshold Synergistic Learning Approach for Spiking Neural
Networks
- arxiv url: http://arxiv.org/abs/2206.06129v3
- Date: Mon, 3 Apr 2023 08:12:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 01:14:13.711987
- Title: A Synapse-Threshold Synergistic Learning Approach for Spiking Neural
Networks
- Title（参考訳）: スパイクニューラルネットワークのためのシナプス閾値シナジスティック学習手法
- Authors: Hongze Sun, Wuque Cai, Baoxin Yang, Yan Cui, Yang Xia, Dezhong Yao,
Daqing Guo
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。
本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
- 参考スコア（独自算出の注目度）: 1.8556712517882232
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) have demonstrated excellent capabilities in
various intelligent scenarios. Most existing methods for training SNNs are
based on the concept of synaptic plasticity; however, learning in the realistic
brain also utilizes intrinsic non-synaptic mechanisms of neurons. The spike
threshold of biological neurons is a critical intrinsic neuronal feature that
exhibits rich dynamics on a millisecond timescale and has been proposed as an
underlying mechanism that facilitates neural information processing. In this
study, we develop a novel synergistic learning approach that involves
simultaneously training synaptic weights and spike thresholds in SNNs. SNNs
trained with synapse-threshold synergistic learning~(STL-SNNs) achieve
significantly superior performance on various static and neuromorphic datasets
than SNNs trained with two degenerated single-learning models. During training,
the synergistic learning approach optimizes neural thresholds, providing the
network with stable signal transmission via appropriate firing rates. Further
analysis indicates that STL-SNNs are robust to noisy data and exhibit low
energy consumption for deep network structures. Additionally, the performance
of STL-SNN can be further improved by introducing a generalized joint decision
framework. Overall, our findings indicate that biologically plausible synergies
between synaptic and intrinsic non-synaptic mechanisms may provide a promising
approach for developing highly efficient SNN learning methods.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、さまざまなインテリジェントなシナリオにおいて優れた機能を示している。
既存のsnsの訓練方法はシナプス可塑性の概念に基づいているが、現実的脳での学習はニューロンの非シナプス機構も活用している。
生体ニューロンのスパイク閾値は、ミリ秒の時間スケールでリッチなダイナミクスを示す重要な内在神経の特徴であり、神経情報処理の基盤となるメカニズムとして提案されている。
本研究では,SNNにおけるシナプス重みとスパイク閾値を同時に学習する新しいシナジー学習手法を開発する。
シナプス・スレッショルド・シナジスティック・ラーニング(STL-SNN)で訓練されたSNNは、2つの非生成シングルラーニングモデルで訓練されたSNNよりも、様々な静的およびニューロモルフィックなデータセットで大幅に優れた性能を発揮する。
トレーニング中、シナジスティック学習アプローチは神経閾値を最適化し、適切な発射率で安定した信号伝達を提供する。
さらに分析した結果、STL-SNNはノイズの多いデータに対して堅牢であり、深層ネットワーク構造に対する低エネルギー消費を示すことが示された。
さらに、一般化された共同決定フレームワークを導入することにより、STL-SNNの性能をさらに向上することができる。
以上の結果から, シナプスと内因性非シナプス機構の相乗効果は, SNN学習法の開発に有効である可能性が示唆された。
関連論文リスト
- Training Spiking Neural Networks via Augmented Direct Feedback Alignment [3.798885293742468]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックデバイスにニューラルネットワークを実装するための有望なソリューションである。
しかし、SNNニューロンの非分化性は、それらを訓練することを困難にしている。
本稿では、ランダムなプロジェクションに基づく勾配のないアプローチである拡張直接フィードバックアライメント(aDFA)を用いてSNNの訓練を行う。
論文 参考訳（メタデータ） (2024-09-12T06:22:44Z) - Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する
本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
論文 参考訳（メタデータ） (2024-05-06T09:58:54Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Modeling Associative Plasticity between Synapses to Enhance Learning of
Spiking Neural Networks [4.736525128377909]
Spiking Neural Networks(SNN)は、ニューラルネットワークの第3世代であり、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする。
本稿では,シナプス間の結合可塑性をモデル化し,頑健で効果的な学習機構を提案する。
本手法は静的および最先端のニューロモルフィックデータセット上での優れた性能を実現する。
論文 参考訳（メタデータ） (2022-07-24T06:12:23Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳（メタデータ） (2022-06-21T09:42:30Z) - Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural
Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。
本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
論文 参考訳（メタデータ） (2022-05-31T17:02:26Z) - SIT: A Bionic and Non-Linear Neuron for Spiking Neural Network [12.237928453571636]
スパイキングニューラルネットワーク(SNN)は、時間的情報処理能力と消費電力の低さから、研究者の関心を喚起している。
現在の最先端の手法は、ニューロンが単純な Leaky-Integrate-and-Fire (LIF) モデルに基づいて構築されているため、生物学的な可視性と性能を制限している。
高レベルの動的複雑さのため、現代のニューロンモデルがSNNの実践で実装されることはめったにない。
論文 参考訳（メタデータ） (2022-03-30T07:50:44Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。