論文の概要: Spiking Inception Module for Multi-layer Unsupervised Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2001.10696v5
• Date: Mon, 28 Sep 2020 20:59:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 20:46:01.663380
• Title: Spiking Inception Module for Multi-layer Unsupervised Spiking Neural Networks
• Title（参考訳）: 多層非教師付きスパイクニューラルネットワークのためのスパイクインセプションモジュール
• Authors: Mingyuan Meng, Xingyu Yang, Shanlin Xiao, Zhiyi Yu
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、超高エネルギーのハードウェアを製造する可能性から注目を集めている。 Spike-Timing-Dependent Plasticity (STDP) に基づく競合学習は、教師なしSNNを訓練する一般的な方法である。 我々は,ニューラルネットワーク(ANN)文学におけるインセプション・モジュールにインスパイアされたスパイキング・インセプション(Sp-Inception)モジュールを提案する。 このモジュールはSTDPベースの競争学習を通じてトレーニングされ、学習能力、学習効率、堅牢性においてベースラインモジュールを上回っている。
• 参考スコア（独自算出の注目度）: 2.9822184411723645
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Spiking Neural Network (SNN), as a brain-inspired approach, is attracting attention due to its potential to produce ultra-high-energy-efficient hardware. Competitive learning based on Spike-Timing-Dependent Plasticity (STDP) is a popular method to train an unsupervised SNN. However, previous unsupervised SNNs trained through this method are limited to a shallow network with only one learnable layer and cannot achieve satisfactory results when compared with multi-layer SNNs. In this paper, we eased this limitation by: 1)We proposed a Spiking Inception (Sp-Inception) module, inspired by the Inception module in the Artificial Neural Network (ANN) literature. This module is trained through STDP-based competitive learning and outperforms the baseline modules on learning capability, learning efficiency, and robustness. 2)We proposed a Pooling-Reshape-Activate (PRA) layer to make the Sp-Inception module stackable. 3)We stacked multiple Sp-Inception modules to construct multi-layer SNNs. Our algorithm outperforms the baseline algorithms on the hand-written digit classification task, and reaches state-of-the-art results on the MNIST dataset among the existing unsupervised SNNs.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたアプローチであり、超高エネルギー効率のハードウェアを製造する可能性から注目を集めている。 Spike-Timing-Dependent Plasticity (STDP) に基づく競合学習は、教師なしSNNを訓練する一般的な方法である。 しかし、従来の教師なしSNNは、学習可能な層が1つしかない浅層ネットワークに限られており、多層SNNと比較して良好な結果が得られない。 本稿では,1)人工ニューラルネットワーク(ANN)文学におけるインセプションモジュールにインスパイアされたスパイキングインセプション(Sp-Inception)モジュールを提案する。 このモジュールはSTDPベースの競争学習を通じてトレーニングされ、学習能力、学習効率、堅牢性においてベースラインモジュールを上回っている。 2)Sp-Inceptionモジュールをスタック化するために,Pooling-Reshape-Activate (PRA)層を提案した。 3) 複数のspインセプションモジュールを積み重ねて多層snsを構築した。 本アルゴリズムは手書き桁分類タスクのベースラインアルゴリズムよりも優れており,既存の教師なしSNNのうち,MNISTデータセットの最先端結果に到達している。

関連論文リスト

• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• Joint A-SNN: Joint Training of Artificial and Spiking Neural Networks via Self-Distillation and Weight Factorization [12.1610509770913]
  スパイクニューラルネットワーク(SNN)は、脳ニューロンのスパイク特性を模倣する。 我々は、ANNとSNNの合同トレーニングフレームワークを提案し、ANNはSNNの最適化をガイドできる。 我々の手法は、他の多くの最先端の訓練方法より一貫して優れています。
  論文  参考訳（メタデータ） (2023-05-03T13:12:17Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Spyker: High-performance Library for Spiking Deep Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、その有望な能力のために最近明かされた。 SNNは、以前の世代のニューラルネットワークよりも高い生物学的確率で脳をシミュレートする。 我々は,C++/CUDAをスクラッチから使用して,Spykerという高性能ライブラリを実装した。
  論文  参考訳（メタデータ） (2023-01-31T14:25:03Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• An Unsupervised STDP-based Spiking Neural Network Inspired By Biologically Plausible Learning Rules and Connections [10.188771327458651]
  スパイク刺激依存性可塑性(STDP)は脳の一般的な学習規則であるが、STDPだけで訓練されたスパイクニューラルネットワーク(SNN)は非効率であり、性能が良くない。 我々は適応的なシナプスフィルタを設計し、SNNの表現能力を高めるために適応的なスパイキングしきい値を導入する。 我々のモデルは、MNISTおよびFashionMNISTデータセットにおける教師なしSTDPベースのSNNの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-06T14:53:32Z)
• Deep Learning in Spiking Phasor Neural Networks [0.6767885381740952]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシで低消費電力のニューロモルフィックハードウェアで使用するために、ディープラーニングコミュニティの注目を集めている。 本稿では,Spking Phasor Neural Networks(SPNN)を紹介する。 SPNNは複雑に評価されたディープニューラルネットワーク(DNN)に基づいており、スパイク時間による位相を表す。
  論文  参考訳（メタデータ） (2022-04-01T15:06:15Z)
• An STDP-Based Supervised Learning Algorithm for Spiking Neural Networks [20.309112286222238]
  Spiking Neural Networks (SNN)は、より生物学的に可能な脳モデルを提供する。 本稿では,Leaky Integrate-and-fire ニューロンからなる階層型 SNN に対して,Spike-Timing Dependent Plasticity (STDP) に基づく教師付き学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-07T13:40:09Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。