論文の概要: To Spike or Not to Spike, that is the Question
- arxiv url: http://arxiv.org/abs/2407.19566v2
- Date: Thu, 31 Oct 2024 19:45:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 14:27:29.746814
- Title: To Spike or Not to Spike, that is the Question
- Title（参考訳）: Spike or not to Spike, That is the Question
- Authors: Sanaz Mahmoodi Takaghaj, Jack Sampson,
- Abstract要約: SNNは生物学的ニューロンの時間的ダイナミクスをエミュレートし、リアルタイムのイベント駆動処理に適している。
SNNでは、学習規則はニューロンのスパイク行動に基づいており、ニューロンのスパイク閾値を超える膜電位によってスパイクが生じる場合である。
本研究は、SNNにおける重みとともに、ニューロン学習閾値の重要性に焦点を当てる。
- 参考スコア（独自算出の注目度）: 0.45609532372046985
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Neuromorphic computing has recently gained momentum with the emergence of various neuromorphic processors. As the field advances, there is an increasing focus on developing training methods that can effectively leverage the unique properties of spiking neural networks (SNNs). SNNs emulate the temporal dynamics of biological neurons, making them particularly well-suited for real-time, event-driven processing. To fully harness the potential of SNNs across different neuromorphic platforms, effective training methodologies are essential. In SNNs, learning rules are based on neurons' spiking behavior, that is, if and when spikes are generated due to a neuron's membrane potential exceeding that neuron's spiking threshold, and this spike timing encodes vital information. However, the threshold is generally treated as a hyperparameter, and incorrect selection can lead to neurons that do not spike for large portions of the training process, hindering the effective rate of learning. This work focuses on the significance of learning neuron thresholds alongside weights in SNNs. Our results suggest that promoting threshold from a hyperparameter to a trainable parameter effectively addresses the issue of dead neurons during training. This leads to a more robust training algorithm, resulting in improved convergence, increased test accuracy, and a substantial reduction in the number of training epochs required to achieve viable accuracy on spatiotemporal datasets such as NMNIST, DVS128, and Spiking Heidelberg Digits (SHD), with up to 30% training speed-up and up to 2% higher accuracy on these datasets.
- Abstract（参考訳）: ニューロモルフィックコンピューティングは、最近、様々なニューロモルフィックプロセッサの出現によって勢いを増している。
フィールドが進歩するにつれて、スパイキングニューラルネットワーク(SNN)のユニークな特性を効果的に活用できるトレーニング手法の開発に焦点が当てられている。
SNNは生物学的ニューロンの時間的ダイナミクスをエミュレートし、リアルタイムのイベント駆動処理に特に適している。
異なるニューロモルフィックプラットフォームにまたがるSNNの可能性を完全に活用するためには、効果的なトレーニング手法が不可欠である。
SNNでは、学習規則はニューロンのスパイク行動に基づいており、ニューロンのスパイク閾値を超える膜電位によってスパイクが生成される場合と、スパイクタイミングが重要な情報を符号化している。
しかし、閾値は一般的にハイパーパラメータとして扱われ、誤った選択はトレーニングプロセスの大部分をスパイクしないニューロンにつながり、学習の効率を損なう。
本研究は、SNNにおける重みとともにニューロン閾値を学習することの重要性に焦点を当てる。
以上の結果から,過度パラメータからトレーニング可能なパラメータへのしきい値の促進は,訓練中の死ニューロンの問題に効果的に対処できることが示唆された。
これにより、収束性の向上、テスト精度の向上、NMNIST、DVS128、Spike Heidelberg Digits (SHD)のような時空間データセットの有効精度を達成するのに必要なトレーニングエポック数の大幅な削減、最大30%のトレーニングスピードアップと最大2%の精度を実現した、より堅牢なトレーニングアルゴリズムが実現される。
関連論文リスト
- Stepwise Weighted Spike Coding for Deep Spiking Neural Networks [7.524721345903027]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンのスパイキング動作を模倣しようと試みている。
本稿では,スパイクにおける情報のエンコーディングを強化するために,SWS(Stepwise Weighted Spike)符号化方式を提案する。
このアプローチは、ニューラルネットワークの各ステップにおけるスパイクの重要性を重み付け、高い性能と低エネルギー消費を達成することでスパイクを圧縮する。
論文 参考訳（メタデータ） (2024-08-30T12:39:25Z) - Fast gradient-free activation maximization for neurons in spiking neural networks [5.805438104063613]
このようなループのための効率的な設計のフレームワークを提案する。
トレーニング中の人工ニューロンの最適刺激の変化を追跡する。
この洗練された最適刺激の形成は、分類精度の増大と関連している。
論文 参考訳（メタデータ） (2023-12-28T18:30:13Z) - Curriculum Design Helps Spiking Neural Networks to Classify Time Series [16.402675046686834]
スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも時系列データをモデル化する可能性が大きい
この研究において、脳にインスパイアされた科学によって啓蒙され、構造だけでなく学習過程も人間に似ていなければならないことが判明した。
論文 参考訳（メタデータ） (2023-12-26T02:04:53Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - Co-learning synaptic delays, weights and adaptation in spiking neural
networks [0.0]
スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。
スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
論文 参考訳（メタデータ） (2023-09-12T09:13:26Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。
SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文 参考訳（メタデータ） (2022-01-21T16:42:11Z) - Improving Spiking Neural Network Accuracy Using Time-based Neurons [0.24366811507669117]
アナログニューロンを用いた低消費電力スパイクニューラルネットワークに基づくニューロモルフィックコンピューティングシステムの研究が注目されている。
技術のスケールダウンに伴い、アナログニューロンはスケールが難しく、電圧ヘッドルーム/ダイナミックレンジの減少と回路の非線形性に悩まされる。
本稿では,28nmプロセスで設計した既存の電流ミラー型電圧ドメインニューロンの非線形挙動をモデル化し,ニューロンの非線形性の影響によりSNN推定精度を著しく劣化させることができることを示す。
本稿では,時間領域のスパイクを処理し,線形性を大幅に向上させる新しいニューロンを提案する。
論文 参考訳（メタデータ） (2022-01-05T00:24:45Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。