論文の概要: Deep activity propagation via weight initialization in spiking neural networks

• arxiv url: http://arxiv.org/abs/2410.00580v1
• Date: Tue, 1 Oct 2024 11:02:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 04:47:16.904363
• Title: Deep activity propagation via weight initialization in spiking neural networks
• Title（参考訳）: スパイキングニューラルネットワークにおける重み付け初期化による深部活動伝播
• Authors: Aurora Micheli, Olaf Booij, Jan van Gemert, Nergis Tömen,
• Abstract要約: Spiking Neural Networks (SNN)は、スパーシリティや超低消費電力といったバイオインスパイアされた利点を提供する。 ディープSNNは、実数値膜電位をバイナリスパイクに量子化することで、情報を処理し、伝達する。 提案手法は, 従来の手法とは異なり, スパイクの損失を伴わずに, 深部SNNにおける活動の伝播を可能にすることを理論的に示す。
• 参考スコア（独自算出の注目度）: 10.69085409825724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) and neuromorphic computing offer bio-inspired advantages such as sparsity and ultra-low power consumption, providing a promising alternative to conventional networks. However, training deep SNNs from scratch remains a challenge, as SNNs process and transmit information by quantizing the real-valued membrane potentials into binary spikes. This can lead to information loss and vanishing spikes in deeper layers, impeding effective training. While weight initialization is known to be critical for training deep neural networks, what constitutes an effective initial state for a deep SNN is not well-understood. Existing weight initialization methods designed for conventional networks (ANNs) are often applied to SNNs without accounting for their distinct computational properties. In this work we derive an optimal weight initialization method specifically tailored for SNNs, taking into account the quantization operation. We show theoretically that, unlike standard approaches, this method enables the propagation of activity in deep SNNs without loss of spikes. We demonstrate this behavior in numerical simulations of SNNs with up to 100 layers across multiple time steps. We present an in-depth analysis of the numerical conditions, regarding layer width and neuron hyperparameters, which are necessary to accurately apply our theoretical findings. Furthermore, our experiments on MNIST demonstrate higher accuracy and faster convergence when using the proposed weight initialization scheme. Finally, we show that the newly introduced weight initialization is robust against variations in several network and neuron hyperparameters.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)とニューロモルフィックコンピューティングは、空間性や超低消費電力といったバイオインスパイアされた利点を提供し、従来のネットワークに代わる有望な代替手段を提供する。 しかし、SNNは実際の膜電位を二分スパイクに定量化して情報を伝達するので、スクラッチから深部SNNを訓練することは依然として困難である。 これにより、情報損失や深いレイヤのスパイクの消滅につながる可能性があるため、効果的なトレーニングが妨げられます。 重み初期化はディープニューラルネットワークのトレーニングにおいて重要であることが知られているが、ディープSNNの効果的な初期状態を構成するものは十分に理解されていない。 従来のネットワーク (ANN) 用に設計された既存の重み初期化法は、しばしばSNNに対して異なる計算特性を考慮せずに適用される。 本研究では、量子化演算を考慮したSNNに特化して最適化された最適重量初期化法を導出する。 提案手法は, 従来の手法とは異なり, スパイクの損失を伴わずに, 深部SNNにおける活動の伝播を可能にすることを理論的に示す。 複数の時間ステップにまたがる100層以上のSNNの数値シミュレーションにおいて,この挙動を実証する。 理論的な知見を正確に適用するためには, 層幅とニューロンの過度パラメータに関する数値条件を詳細に解析する必要がある。 さらに,本実験では,重み初期化方式を用いた場合,より高精度で高速な収束性を示す。 最後に、新たに導入された重み初期化は、複数のネットワークおよびニューロンのハイパーパラメータの変動に対して堅牢であることを示す。

関連論文リスト

• An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
  量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。 本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
  論文  参考訳（メタデータ） (2023-07-29T06:27:28Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Spiking Network Initialisation and Firing Rate Collapse [3.7057859167913456]
  スパイクニューラルネットワーク(SNN)の優れた初期化を構成するものは不明である。 ANNの重量初期化問題は、SNNのスパイク・アンド・リセット非直線性のため、ANNの重量初期化の問題よりも、ANNの重量初期化の問題であることが示される。 我々は,ANNの分散伝播技術と異なる手法を組み合わせたSNN初期化手法を考案し,期待される発火速度と膜電位分布を求める。
  論文  参考訳（メタデータ） (2023-05-13T10:11:00Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Fluctuation-driven initialization for spiking neural network training [3.976291254896486]
  スパイキングニューラルネットワーク(SNN)は、脳内の低出力でフォールトトレラントな情報処理を実現する。 我々は、脳内でよく見られるゆらぎ駆動型体制にインスパイアされたSNNの一般的な戦略を開発する。
  論文  参考訳（メタデータ） (2022-06-21T09:48:49Z)
• Where Should We Begin? A Low-Level Exploration of Weight Initialization Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
  異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。 我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
  論文  参考訳（メタデータ） (2020-11-30T06:54:28Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
  Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する 本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。 我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
  論文  参考訳（メタデータ） (2020-05-04T19:30:43Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。