論文の概要: Fluctuation-driven initialization for spiking neural network training
- arxiv url: http://arxiv.org/abs/2206.10226v1
- Date: Tue, 21 Jun 2022 09:48:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-26 12:55:32.512372
- Title: Fluctuation-driven initialization for spiking neural network training
- Title（参考訳）: スパイクニューラルネットワークトレーニングのためのゆらぎ駆動初期化
- Authors: Julian Rossbroich, Julia Gygax, and Friedemann Zenke
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、脳内の低出力でフォールトトレラントな情報処理を実現する。
我々は、脳内でよく見られるゆらぎ駆動型体制にインスパイアされたSNNの一般的な戦略を開発する。
- 参考スコア（独自算出の注目度）: 3.976291254896486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking neural networks (SNNs) underlie low-power, fault-tolerant information
processing in the brain and could constitute a power-efficient alternative to
conventional deep neural networks when implemented on suitable neuromorphic
hardware accelerators. However, instantiating SNNs that solve complex
computational tasks in-silico remains a significant challenge. Surrogate
gradient (SG) techniques have emerged as a standard solution for training SNNs
end-to-end. Still, their success depends on synaptic weight initialization,
similar to conventional artificial neural networks (ANNs). Yet, unlike in the
case of ANNs, it remains elusive what constitutes a good initial state for an
SNN. Here, we develop a general initialization strategy for SNNs inspired by
the fluctuation-driven regime commonly observed in the brain. Specifically, we
derive practical solutions for data-dependent weight initialization that ensure
fluctuation-driven firing in the widely used leaky integrate-and-fire (LIF)
neurons. We empirically show that SNNs initialized following our strategy
exhibit superior learning performance when trained with SGs. These findings
generalize across several datasets and SNN architectures, including fully
connected, deep convolutional, recurrent, and more biologically plausible SNNs
obeying Dale's law. Thus fluctuation-driven initialization provides a
practical, versatile, and easy-to-implement strategy for improving SNN training
performance on diverse tasks in neuromorphic engineering and computational
neuroscience.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、脳内の低消費電力でフォールトトレラントな情報処理を基盤とし、適切なニューロモルフィックハードウェアアクセラレーターを実装する際には、従来のディープニューラルネットワークに代わる電力効率の高い代替品となる可能性がある。
しかし、複雑な計算タスクをシリコで解くSNNのインスタンス化は依然として大きな課題である。
SNNをエンドツーエンドにトレーニングするための標準ソリューションとして、サロゲート勾配(SG)技術が登場した。
それでも、その成功はシナプス重みの初期化に依存しており、従来のニューラルネットワーク(anns)と同様である。
しかし、ANNの場合とは異なり、SNNのよい初期状態を構成するものは、いまだ解明されていない。
そこで我々は,脳内でよく見られるゆらぎ駆動型体制にインスパイアされたSNNの一般初期化戦略を開発する。
具体的には,ゆらぎ駆動による発火を確保するためのデータ依存量初期化の実践的解法を提案する。
実験により,SNNはSGを用いた学習において優れた学習性能を示した。
これらの発見は、Daleの法則に従う完全連結、深層畳み込み、再帰、より生物学的に妥当なSNNを含む、いくつかのデータセットとSNNアーキテクチャにまたがって一般化される。
このように、変動駆動初期化は、神経形工学や計算神経科学における様々なタスクにおけるSNN訓練性能を改善するための実用的で、多目的で、実装が容易な戦略を提供する。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - Deep activity propagation via weight initialization in spiking neural networks [10.69085409825724]
Spiking Neural Networks (SNN)は、スパーシリティや超低消費電力といったバイオインスパイアされた利点を提供する。
ディープSNNは、実数値膜電位をバイナリスパイクに量子化することで、情報を処理し、伝達する。
提案手法は, 従来の手法とは異なり, スパイクの損失を伴わずに, 深部SNNにおける活動の伝播を可能にすることを理論的に示す。
論文 参考訳（メタデータ） (2024-10-01T11:02:34Z) - Training Spiking Neural Networks via Augmented Direct Feedback Alignment [3.798885293742468]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックデバイスにニューラルネットワークを実装するための有望なソリューションである。
しかし、SNNニューロンの非分化性は、それらを訓練することを困難にしている。
本稿では、ランダムなプロジェクションに基づく勾配のないアプローチである拡張直接フィードバックアライメント(aDFA)を用いてSNNの訓練を行う。
論文 参考訳（メタデータ） (2024-09-12T06:22:44Z) - Stochastic Spiking Neural Networks with First-to-Spike Coding [7.955633422160267]
スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率で知られている。
本研究では,SNNアーキテクチャにおける新しい計算手法と情報符号化方式の融合について検討する。
提案手法のトレードオフを,精度,推論遅延,スパイク空間性,エネルギー消費,データセットの観点から検討する。
論文 参考訳（メタデータ） (2024-04-26T22:52:23Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳（メタデータ） (2023-10-25T13:15:17Z) - LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳（メタデータ） (2023-10-23T14:26:16Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Deep Reinforcement Learning Guided Graph Neural Networks for Brain
Network Analysis [61.53545734991802]
本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。
提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
論文 参考訳（メタデータ） (2022-03-18T07:05:27Z) - Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural
Networks [3.7384509727711923]
ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。
本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。
提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
論文 参考訳（メタデータ） (2021-06-03T14:03:41Z) - Long Short-Term Memory Spiking Networks and Their Applications [10.071615423169902]
繰り返しスパイクニューラルネットワーク(SNN)のトレーニングのための新しいフレームワークを提案する。
LSTMスパイクネットワークはスパイクのタイミングと時間的依存性を学習する。
また,LSTMをベースとしたSNN内でエラーのバックプロパゲーションを行う手法を開発した。
論文 参考訳（メタデータ） (2020-07-09T13:22:27Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。