論文の概要: Rouser: Robust SNN training using adaptive threshold learning

• arxiv url: http://arxiv.org/abs/2407.19566v1
• Date: Sun, 28 Jul 2024 19:23:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 15:45:34.572555
• Title: Rouser: Robust SNN training using adaptive threshold learning
• Title（参考訳）: Rouser:適応しきい値学習を用いたロバストSNNトレーニング
• Authors: Sanaz Mahmoodi Takaghaj, Jack Sampson,
• Abstract要約: スパイキングニューラルネットワーク(SNN)の学習ルールは、ニューロンの発射しきい値を超えるニューロンの膜電位によってスパイクが発生するかどうかという、ニューロンのスパイク行動に基づいている。 本研究(ユーザ)では、ループ内適応しきい値学習機構を用いて、非活性ニューロンのトレーニングを行い、SNNトレーニングを改善する。
• 参考スコア（独自算出の注目度）: 0.45609532372046985
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In Spiking Neural Networks (SNNs), learning rules are based on neuron spiking behavior, that is, if and when spikes are generated due to a neuron's membrane potential exceeding that neuron's firing threshold, and this spike timing encodes vital information. However, the threshold is generally treated as a hyperparameter, and incorrect selection can lead to neurons that do not spike for large portions of the training process, hindering the effective rate of learning. Inspired by homeostatic mechanisms in biological neurons, this work (Rouser) presents a study to rouse training-inactive neurons and improve the SNN training by using an in-loop adaptive threshold learning mechanism. Rouser's adaptive threshold allows for dynamic adjustments based on input data and network hyperparameters, influencing spike timing and improving training. This study focuses primarily on investigating the significance of learning neuron thresholds alongside weights in SNNs. We evaluate the performance of Rouser on the spatiotemporal datasets NMNIST, DVS128 and Spiking Heidelberg Digits (SHD), compare our results with state-of-the-art SNN training techniques, and discuss the strengths and limitations of our approach. Our results suggest that promoting threshold from a hyperparameter to a parameter can effectively address the issue of dead neurons during training, resulting in a more robust training algorithm that leads to improved training convergence, increased test accuracy, and substantial reductions in the number of training epochs needed to achieve viable accuracy. Rouser achieves up to 70% lower training latency while providing up to 2% higher accuracy over state-of-the-art SNNs with similar network architecture on the neuromorphic datasets NMNIST, DVS128 and SHD.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)では、学習規則はニューロンのスパイク行動、すなわち、ニューロンの発射しきい値を超えるニューロンの膜電位によってスパイクが発生する場合に基づいており、このスパイクタイミングは重要な情報を符号化する。 しかし、閾値は一般的にハイパーパラメータとして扱われ、誤った選択はトレーニングプロセスの大部分をスパイクしないニューロンにつながり、学習の効率を損なう。 生体ニューロンの恒常性機構に着想を得たこの研究(Rouser)は、トレーニング非活性ニューロンをロースし、ループ内適応しきい値学習機構を用いてSNNトレーニングを改善するための研究である。 Rouserの適応しきい値は、入力データとネットワークハイパーパラメータに基づく動的調整、スパイクタイミングへの影響、トレーニングの改善を可能にする。 本研究は,SNNにおける重みを伴うニューロン閾値の学習の重要性について検討することに焦点を当てた。 時空間データセットNMNIST, DVS128, Spiking Heidelberg Digits (SHD) を用いたRouserの性能評価を行い, 現状のSNNトレーニング手法と比較し, アプローチの強みと限界について考察した。 以上の結果から,ハイパーパラメータからパラメータへのしきい値の促進は,訓練中の死ニューロンの問題に効果的に対処できることが示唆された。 Rouserは、ニューロモルフィックデータセットNMNIST、DVS128、SHDに類似したネットワークアーキテクチャを持つ最先端のSNNよりも最大で最大で70%低いトレーニングレイテンシを実現している。

関連論文リスト

• Stepwise Weighted Spike Coding for Deep Spiking Neural Networks [7.524721345903027]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンのスパイキング動作を模倣しようと試みている。 本稿では,スパイクにおける情報のエンコーディングを強化するために,SWS(Stepwise Weighted Spike)符号化方式を提案する。 このアプローチは、ニューラルネットワークの各ステップにおけるスパイクの重要性を重み付け、高い性能と低エネルギー消費を達成することでスパイクを圧縮する。
  論文  参考訳（メタデータ） (2024-08-30T12:39:25Z)
• Fast gradient-free activation maximization for neurons in spiking neural networks [5.805438104063613]
  このようなループのための効率的な設計のフレームワークを提案する。 トレーニング中の人工ニューロンの最適刺激の変化を追跡する。 この洗練された最適刺激の形成は、分類精度の増大と関連している。
  論文  参考訳（メタデータ） (2023-12-28T18:30:13Z)
• Curriculum Design Helps Spiking Neural Networks to Classify Time Series [16.402675046686834]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも時系列データをモデル化する可能性が大きい この研究において、脳にインスパイアされた科学によって啓蒙され、構造だけでなく学習過程も人間に似ていなければならないことが判明した。
  論文  参考訳（メタデータ） (2023-12-26T02:04:53Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• Co-learning synaptic delays, weights and adaptation in spiking neural networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。 スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
  論文  参考訳（メタデータ） (2023-09-12T09:13:26Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
  スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
  論文  参考訳（メタデータ） (2022-01-21T16:42:11Z)
• Improving Spiking Neural Network Accuracy Using Time-based Neurons [0.24366811507669117]
  アナログニューロンを用いた低消費電力スパイクニューラルネットワークに基づくニューロモルフィックコンピューティングシステムの研究が注目されている。 技術のスケールダウンに伴い、アナログニューロンはスケールが難しく、電圧ヘッドルーム/ダイナミックレンジの減少と回路の非線形性に悩まされる。 本稿では,28nmプロセスで設計した既存の電流ミラー型電圧ドメインニューロンの非線形挙動をモデル化し,ニューロンの非線形性の影響によりSNN推定精度を著しく劣化させることができることを示す。 本稿では,時間領域のスパイクを処理し,線形性を大幅に向上させる新しいニューロンを提案する。
  論文  参考訳（メタデータ） (2022-01-05T00:24:45Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。