Fugu-MT 論文翻訳(概要): Deep Spiking Neural Networks with Resonate-and-Fire Neurons

論文の概要: Deep Spiking Neural Networks with Resonate-and-Fire Neurons

arxiv url: http://arxiv.org/abs/2109.08234v1
Date: Thu, 16 Sep 2021 21:42:28 GMT
ステータス: 処理完了
システム内更新日: 2021-09-21 08:02:05.180254
Title: Deep Spiking Neural Networks with Resonate-and-Fire Neurons
Title（参考訳）: 共鳴・発火ニューロンを用いたディープスパイキングニューラルネットワーク
Authors: Badr AlKhamissi, Muhammad ElNokrashy, David Bernal-Casas
Abstract要約: バックプロパゲーションにより勾配降下を訓練した共鳴・発火ニューロンを用いたスパイキングニューラルネットワーク(SNN)の定式化 RAF-SNNは、異なるネットワーク構成にわたる機械学習文学における従来のモデルと同等かそれ以上のパフォーマンスを達成する。興味深いことに、RAF-SNNは静的条件と動的条件の両方で、試験・訓練時に誘導される騒音に対して頑健である。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this work, we explore a new Spiking Neural Network (SNN) formulation with Resonate-and-Fire (RAF) neurons (Izhikevich, 2001) trained with gradient descent via back-propagation. The RAF-SNN, while more biologically plausible, achieves performance comparable to or higher than conventional models in the Machine Learning literature across different network configurations, using similar or fewer parameters. Strikingly, the RAF-SNN proves robust against noise induced at testing/training time, under both static and dynamic conditions. Against CNN on MNIST, we show 25% higher absolute accuracy with N(0, 0.2) induced noise at testing time. Against LSTM on N-MNIST, we show 70% higher absolute accuracy with 20% induced noise at training time.
Abstract（参考訳）: 本研究では,Resonate-and-Fire(RAF)ニューロンを用いた新しいスパイキングニューラルネットワーク(SNN)の定式化(Izhikevich,2001)について検討する。 RAF-SNNは、より生物学的に妥当であるが、類似または少ないパラメータを使用して、異なるネットワーク構成にわたる機械学習文学における従来のモデルと同等かそれ以上のパフォーマンスを達成する。興味深いことに、RAF-SNNは静的条件と動的条件の両方で、試験・訓練時に誘導される騒音に対して頑健である。 MNISTのCNNに対して,N(0, 0.2)誘導雑音では25%高い絶対精度を示した。 N-MNISTのLSTMに対して,訓練時に20%誘導雑音で70%高い絶対精度を示した。

関連論文リスト

Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文参考訳（メタデータ） (2023-07-27T06:59:46Z)
How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文参考訳（メタデータ） (2023-06-04T08:53:27Z)
SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文参考訳（メタデータ） (2023-02-01T04:22:59Z)
Heterogeneous Recurrent Spiking Neural Network for Spatio-Temporal Classification [13.521272923545409]
Spi Neural Networksは、人工知能の第3波の脳にインスパイアされた学習モデルとしてしばしば評価される。本稿では,ビデオ認識タスクのための教師なし学習を用いたヘテロジニアススパイキングニューラルネットワーク(HRSNN)を提案する。本研究では,時間的バックプロパゲーション訓練による教師付きSNNに類似した性能を実現することができるが,少ない計算量で実現可能であることを示す。
論文参考訳（メタデータ） (2022-09-22T16:34:01Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文参考訳（メタデータ） (2022-02-27T23:12:43Z)
HIRE-SNN: Harnessing the Inherent Robustness of Energy-Efficient Deep Spiking Neural Networks by Training with Crafted Input Noise [13.904091056365765]
SNNトレーニングアルゴリズムは,入力ノイズを発生させるとともに,追加のトレーニング時間も発生しない。通常の訓練された直接入力SNNと比較して、トレーニングされたモデルでは、最大13.7%の分類精度が向上した。また,本モデルでは,レートコード入力を学習したSNNに対して,攻撃生成画像の分類性能が向上あるいは類似していることが特筆すべき点である。
論文参考訳（メタデータ） (2021-10-06T16:48:48Z)
Spiking Neural Networks with Improved Inherent Recurrence Dynamics for Sequential Learning [6.417011237981518]
漏れた統合と発火(LIF)ニューロンを持つニューラルネットワーク(SNN)は、イベント駆動方式で操作できる。我々は,SNNを逐次的なタスクのために訓練し,LIFニューロンのネットワークへの修正を提案する。そこで我々は,提案するSNNのトレーニング手法を開発し,本質的な再帰ダイナミクスを改良した。
論文参考訳（メタデータ） (2021-09-04T17:13:28Z)
Revisiting Batch Normalization for Training Low-latency Deep Spiking Neural Networks from Scratch [5.511606249429581]
ディープラーニングの代替手段としてスパイキングニューラルネットワーク(SNN)が登場している。スクラッチからの高精度で低遅延のSNNは、スパイキングニューロンの非分化性の性質に悩まされる。本稿では、時間的SNNのトレーニングのための時間的バッチ正規化(BNTT)手法を提案する。
論文参考訳（メタデータ） (2020-10-05T00:49:30Z)
Neural Networks and Value at Risk [59.85784504799224]
リスクしきい値推定における資産価値のモンテカルロシミュレーションを行う。株式市場と長期債を試験資産として利用し、ニューラルネットワークについて検討する。はるかに少ないデータでフィードされたネットワークは、大幅にパフォーマンスが悪くなっています。
論文参考訳（メタデータ） (2020-05-04T17:41:59Z)
Convolutional Spiking Neural Networks for Spatio-Temporal Feature Extraction [3.9898522485253256]
スパイキングニューラルネットワーク(SNN)は低消費電力および組み込みシステムで使用できる。畳み込みニューラルネットワークやその他の種類のSNNの層における時間符号化はまだ研究されていない。現実世界の問題に対処するための,新たな深層スパイクアーキテクチャを提案する。
論文参考訳（メタデータ） (2020-03-27T11:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。