論文の概要: Incorporating Learnable Membrane Time Constant to Enhance Learning of Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2007.05785v5
• Date: Tue, 17 Aug 2021 03:04:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 12:51:50.640082
• Title: Incorporating Learnable Membrane Time Constant to Enhance Learning of Spiking Neural Networks
• Title（参考訳）: スパイキングニューラルネットワークの学習に一定の学習可能な膜時間を組み込む
• Authors: Wei Fang, Zhaofei Yu, Yanqi Chen, Timothee Masquelier, Tiejun Huang, Yonghong Tian
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、時間的情報処理能力、消費電力の低さ、高い生物学的信頼性により、膨大な研究関心を集めている。 既存の学習方法はウェイトのみを学習し、単一のスパイキングニューロンのダイナミクスを決定する膜関連パラメータを手動でチューニングする必要がある。 本稿では,脳の領域で膜関連パラメータが異なることの観察から着想を得て,シナプス重みだけでなく,SNNの膜時間定数も学習可能なトレーニングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 36.16846259899793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) have attracted enormous research interest due to temporal information processing capability, low power consumption, and high biological plausibility. However, the formulation of efficient and high-performance learning algorithms for SNNs is still challenging. Most existing learning methods learn weights only, and require manual tuning of the membrane-related parameters that determine the dynamics of a single spiking neuron. These parameters are typically chosen to be the same for all neurons, which limits the diversity of neurons and thus the expressiveness of the resulting SNNs. In this paper, we take inspiration from the observation that membrane-related parameters are different across brain regions, and propose a training algorithm that is capable of learning not only the synaptic weights but also the membrane time constants of SNNs. We show that incorporating learnable membrane time constants can make the network less sensitive to initial values and can speed up learning. In addition, we reevaluate the pooling methods in SNNs and find that max-pooling will not lead to significant information loss and have the advantage of low computation cost and binary compatibility. We evaluate the proposed method for image classification tasks on both traditional static MNIST, Fashion-MNIST, CIFAR-10 datasets, and neuromorphic N-MNIST, CIFAR10-DVS, DVS128 Gesture datasets. The experiment results show that the proposed method outperforms the state-of-the-art accuracy on nearly all datasets, using fewer time-steps. Our codes are available at https://github.com/fangwei123456/Parametric-Leaky-Integrate-and-Fire-Spiking-Neuron.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、時間的情報処理能力、消費電力の低さ、高い生物学的信頼性により、膨大な研究関心を集めている。 しかし、SNNのための効率的かつ高性能な学習アルゴリズムの定式化は依然として困難である。 既存の学習方法は重量のみを学習し、単一スパイキングニューロンのダイナミクスを決定する膜関連パラメータの手動チューニングを必要とする。 これらのパラメータは通常、ニューロンの多様性を制限し、結果として生じるSNNの表現性が制限される全てのニューロンに対して同じであるように選択される。 本稿では,脳の領域で膜関連パラメータが異なることの観察から着想を得て,シナプス重みだけでなく,SNNの膜時間定数も学習可能なトレーニングアルゴリズムを提案する。 学習可能な膜時間定数を組み込むことで、ネットワークが初期値に敏感になりにくくなり、学習を高速化できることを示す。 さらに、SNNにおけるプーリング手法を再評価し、最大プーリングが大きな情報損失をもたらしず、計算コストの低減とバイナリ互換性の利点があることを示す。 従来の静的MNIST, Fashion-MNIST, CIFAR-10データセット, ニューロモルフィックN-MNIST, CIFAR10-DVS, DVS128ジェスチャデータセットのイメージ分類タスクの評価を行った。 実験の結果,提案手法は,ほぼすべてのデータセットにおける最先端の精度を,より少ない時間ステップで上回ることがわかった。 私たちのコードはhttps://github.com/fangwei123456/Parametric-Leaky-Integrate-and-Fire-Spiking-Neuronで公開されています。

関連論文リスト

• CLIF: Complementary Leaky Integrate-and-Fire Neuron for Spiking Neural Networks [5.587069105667678]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 差別化できないスパイク機構のため、SNNを訓練することは依然として困難である。 本稿では、Leaky Integrate-and-Fire Neuron-based SNNとComplementary Leaky Integrate-and-Fire Neuronを提案する。
  論文  参考訳（メタデータ） (2024-02-07T08:51:57Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• MSAT: Biologically Inspired Multi-Stage Adaptive Threshold for Conversion of Spiking Neural Networks [11.392893261073594]
  スパイキングニューラルネットワーク(SNN)はそのスパイク間隔のために低消費電力で推測できる。 ANN-SNN変換は、よく訓練されたニューラルネットワーク(ANN)を変換することでディープSNNを実現する効率的な方法である 既存の方法は、ニューロンがより深い層にスパイクを素早く届けるのを防ぐ変換に一定の閾値を使用するのが一般的である。
  論文  参考訳（メタデータ） (2023-03-23T07:18:08Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• N-Omniglot: a Large-scale Neuromorphic Dataset for Spatio-Temporal Sparse Few-shot Learning [10.812738608234321]
  我々は、Dynamic Vision Sensor (DVS)を用いて、最初のニューロモルフィックデータセット、N-Omniglotを提供する。 1623種類の手書き文字が含まれており、クラスごとに20のサンプルしか持たない。 このデータセットは、数ショットの学習領域でSNNアルゴリズムを開発するための強力なチャレンジと適切なベンチマークを提供する。
  論文  参考訳（メタデータ） (2021-12-25T12:41:34Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Spiking Neural Networks with Improved Inherent Recurrence Dynamics for Sequential Learning [6.417011237981518]
  漏れた統合と発火(LIF)ニューロンを持つニューラルネットワーク(SNN)は、イベント駆動方式で操作できる。 我々は,SNNを逐次的なタスクのために訓練し,LIFニューロンのネットワークへの修正を提案する。 そこで我々は,提案するSNNのトレーニング手法を開発し,本質的な再帰ダイナミクスを改良した。
  論文  参考訳（メタデータ） (2021-09-04T17:13:28Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal Learning of Deep Spiking Neural Network [7.503685643036081]
  空間的時間特性を持つ生物解析可能なSNNモデルは複雑な力学系である。 ニューロン非線形性を持つ無限インパルス応答(IIR)フィルタのネットワークとしてSNNを定式化する。 本稿では,最適シナプスフィルタカーネルと重みを求めることにより,時空間パターンを学習できる学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-19T01:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。