論文の概要: Sparse-firing regularization methods for spiking neural networks with
time-to-first spike coding
- arxiv url: http://arxiv.org/abs/2307.13007v1
- Date: Mon, 24 Jul 2023 11:55:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-26 19:34:08.189406
- Title: Sparse-firing regularization methods for spiking neural networks with
time-to-first spike coding
- Title（参考訳）: スパイク符号化を用いたスパイクニューラルネットワークのスパースフィリング正規化法
- Authors: Yusuke Sakemi, Kakei Yamamoto, Takeo Hosomi, Kazuyuki Aihara
- Abstract要約: 本稿では,2つのスパイクタイミングに基づくスパースファイリング(SSR)正規化手法を提案する。
これらの正則化法がMNIST, Fashion-MNIST, CIFAR-10データセットに与える影響を調べた。
- 参考スコア（独自算出の注目度）: 2.5234156040689237
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The training of multilayer spiking neural networks (SNNs) using the error
backpropagation algorithm has made significant progress in recent years. Among
the various training schemes, the error backpropagation method that directly
uses the firing time of neurons has attracted considerable attention because it
can realize ideal temporal coding. This method uses time-to-first spike (TTFS)
coding, in which each neuron fires at most once, and this restriction on the
number of firings enables information to be processed at a very low firing
frequency. This low firing frequency increases the energy efficiency of
information processing in SNNs, which is important not only because of its
similarity with information processing in the brain, but also from an
engineering point of view. However, only an upper limit has been provided for
TTFS-coded SNNs, and the information-processing capability of SNNs at lower
firing frequencies has not been fully investigated. In this paper, we propose
two spike timing-based sparse-firing (SSR) regularization methods to further
reduce the firing frequency of TTFS-coded SNNs. The first is the membrane
potential-aware SSR (M-SSR) method, which has been derived as an extreme form
of the loss function of the membrane potential value. The second is the firing
condition-aware SSR (F-SSR) method, which is a regularization function obtained
from the firing conditions. Both methods are characterized by the fact that
they only require information about the firing timing and associated weights.
The effects of these regularization methods were investigated on the MNIST,
Fashion-MNIST, and CIFAR-10 datasets using multilayer perceptron networks and
convolutional neural network structures.
- Abstract（参考訳）: エラーバックプロパゲーションアルゴリズムを用いた多層スパイキングニューラルネットワーク(SNN)のトレーニングは,近年大きく進歩している。
様々なトレーニングスキームの中で,ニューロンの発火時間を直接使用する誤りバックプロパゲーション法は,理想的な時間的符号化を実現するために注目されている。
この方法では、各ニューロンが最大1回発火するTTFS(time-to-first spike)符号化を用い、発射回数の制限により、非常に低い発火周波数で情報を処理できる。
この低発火周波数は、SNNにおける情報処理のエネルギー効率を高めるが、これは脳の情報処理と似ているだけでなく、工学的な観点からも重要である。
しかし、TTFS符号化SNNには上限しか与えられておらず、低発火周波数でのSNNの情報処理能力は十分に研究されていない。
本稿では,TTFS符号化SNNの発火頻度をさらに低減するために,2つのスパイクタイミングベーススパースファイリング(SSR)正則化手法を提案する。
1つ目は膜電位認識SSR(M-SSR)法であり、これは膜電位値の損失関数の極端な形として導出されている。
2つ目は、点火条件から得られる正則化関数である点火条件対応SSR(F-SSR)法である。
どちらの方法も、発射タイミングと関連する重量に関する情報のみを必要とするという事実が特徴である。
これらの正則化法がMNIST, Fashion-MNIST, CIFAR-10データセットに与える影響を多層パーセプトロンネットワークと畳み込みニューラルネットワーク構造を用いて検討した。
関連論文リスト
- Efficient Event-based Delay Learning in Spiking Neural Networks [0.1350479308585481]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わるエネルギー効率の高い代替手段として注目を集めている。
本研究では,EventPropProp形式に基づくSNNのための新しいイベントベーストレーニング手法を提案する。
提案手法は,現在最先端の遅延学習手法のメモリの半分以下を用いており,最大26倍高速であることを示す。
論文 参考訳（メタデータ） (2025-01-13T13:44:34Z) - Canonic Signed Spike Coding for Efficient Spiking Neural Networks [7.524721345903027]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンのスパイキング行動を模倣し、ニューラルコンピューティングと人工知能の進歩において重要な役割を果たすと期待されている。
ANN(Artificial Neural Networks)からSNN(SNN)への変換は最も広く使われているトレーニング手法であり、その結果のSNNが大規模データセット上でANNと同等に動作することを保証する。
現在のスキームは、通常、スパイクカウントまたはタイピングのタイミングを使用しており、これはANNのアクティベーションと線形に関連しており、必要な時間ステップの数を増やす。
我々は新しいCanononic Signed Spike (CSS) 符号化を提案する。
論文 参考訳（メタデータ） (2024-08-30T12:39:25Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Timing-Based Backpropagation in Spiking Neural Networks Without
Single-Spike Restrictions [2.8360662552057323]
スパイキングニューラルネットワーク(SNN)のトレーニングのための新しいバックプロパゲーションアルゴリズムを提案する。
シングルスパイク制限なしで、個々のニューロンの相対多重スパイクタイミングに情報をエンコードする。
論文 参考訳（メタデータ） (2022-11-29T11:38:33Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural
Networks [5.986408771459261]
生物学的スパイクニューラルネットワーク(SNN)は、その出力の情報を時間的にエンコードすることができるが、人工ニューラルネットワーク(ANN)は従来はそうではない。
ここでは、SNNにインスパイアされたランク符号化(RC)のような時間符号化が、LSTMなどの従来のANNにも適用可能であることを示す。
RCトレーニングは推論中の時間と監視を著しく低減し、精度は最小限に抑えられる。
逐次分類の2つのおもちゃ問題と、最初の入力時間ステップ後にRCモデルが99.19%の精度を達成できる時間符号化MNISTデータセットにおいて、これらを実証する。
論文 参考訳（メタデータ） (2021-10-06T15:51:38Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Incorporating Learnable Membrane Time Constant to Enhance Learning of
Spiking Neural Networks [36.16846259899793]
スパイキングニューラルネットワーク(SNN)は、時間的情報処理能力、消費電力の低さ、高い生物学的信頼性により、膨大な研究関心を集めている。
既存の学習方法はウェイトのみを学習し、単一のスパイキングニューロンのダイナミクスを決定する膜関連パラメータを手動でチューニングする必要がある。
本稿では,脳の領域で膜関連パラメータが異なることの観察から着想を得て,シナプス重みだけでなく,SNNの膜時間定数も学習可能なトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-11T14:35:42Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳（メタデータ） (2020-06-03T15:55:53Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。