Fugu-MT 論文翻訳(概要): Improving Surrogate Gradient Learning in Spiking Neural Networks via Regularization and Normalization

論文の概要: Improving Surrogate Gradient Learning in Spiking Neural Networks via Regularization and Normalization

arxiv url: http://arxiv.org/abs/2201.02538v1
Date: Mon, 13 Dec 2021 15:24:33 GMT
ステータス: 処理完了
システム内更新日: 2023-03-04 16:14:30.145472
Title: Improving Surrogate Gradient Learning in Spiking Neural Networks via Regularization and Normalization
Title（参考訳）: 正規化と正規化によるスパイキングニューラルネットワークにおけるサーロゲート勾配学習の改善
Authors: Nandan Meda
Abstract要約: スパイキングニューラルネットワーク(SNN)は、ディープラーニングで使用される古典的ネットワークとは異なる。 SNNは低消費電力のニューロモルフィックチップに実装できるため、AI技術にアピールしている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Spiking neural networks (SNNs) are different from the classical networks used in deep learning: the neurons communicate using electrical impulses called spikes, just like biological neurons. SNNs are appealing for AI technology, because they could be implemented on low power neuromorphic chips. However, SNNs generally remain less accurate than their analog counterparts. In this report, we examine various regularization and normalization techniques with the goal of improving surrogate gradient learning in SNNs.
Abstract（参考訳）: スパイクニューラルネットワーク(snn)は、ディープラーニングで使用される古典的なネットワークとは異なる – ニューロンはスパイクと呼ばれる電気インパルスを使って通信する。 SNNは低消費電力のニューロモルフィックチップに実装できるため、AI技術にアピールしている。しかし、一般的にSNNはアナログに比べて精度が低い。本稿では,SNNにおけるサロゲート勾配学習の改善を目的として,様々な正規化手法と正規化手法について検討する。

関連論文リスト

A survey on learning models of spiking neural membrane systems and spiking neural networks [0.0]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、特定の脳のような特性を持つ、生物学的にインスパイアされたニューラルネットワークのモデルである。 SNNでは、スパイクトレインとスパイクトレインを通してニューロン間の通信が行われる。 SNPSは形式的オートマトン原理に基づくSNNの分岐と見なすことができる。
論文参考訳（メタデータ） (2024-03-27T14:26:41Z)
Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文参考訳（メタデータ） (2024-01-09T07:31:34Z)
A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文参考訳（メタデータ） (2023-05-26T02:52:12Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
Deep Learning in Spiking Phasor Neural Networks [0.6767885381740952]
スパイキングニューラルネットワーク(SNN)は、低レイテンシで低消費電力のニューロモルフィックハードウェアで使用するために、ディープラーニングコミュニティの注目を集めている。本稿では,Spking Phasor Neural Networks(SPNN)を紹介する。 SPNNは複雑に評価されたディープニューラルネットワーク(DNN)に基づいており、スパイク時間による位相を表す。
論文参考訳（メタデータ） (2022-04-01T15:06:15Z)
Mining the Weights Knowledge for Optimizing Neural Network Structures [1.995792341399967]
タスク固有のニューラルネットワーク(略してTNN)の重みを入力として使用するスイッチャーニューラルネットワーク(SNN)を導入する。重みに含まれる知識をマイニングすることで、SNNはTNNのニューロンをオフにするスケーリング因子を出力する。精度の面では,ベースラインネットワークやその他の構造学習手法を安定的に,かつ著しく上回っている。
論文参考訳（メタデータ） (2021-10-11T05:20:56Z)
Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks [1.8515971640245998]
スパイクニューラルネットワーク(SNN)は、より生物学的に実行可能で、より強力なニューラルネットワークモデルとして研究されている。本稿では、新規なサロゲート勾配と、チューナブルおよび適応性スピッキングニューロンの繰り返しネットワークがSNNの最先端を生み出す様子を示す。
論文参考訳（メタデータ） (2021-03-12T10:27:29Z)
Combining Spiking Neural Network and Artificial Neural Network for Enhanced Image Classification [1.8411688477000185]
生物学的脳シナプスによく似たSNN(spiking neural Network)は、低消費電力のために注目を集めている。我々は、関係する性能を改善する汎用ハイブリッドニューラルネットワーク(hnn)を構築した。
論文参考訳（メタデータ） (2021-02-21T12:03:16Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。