論文の概要: Spiking Network Initialisation and Firing Rate Collapse

• arxiv url: http://arxiv.org/abs/2305.08879v1
• Date: Sat, 13 May 2023 10:11:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 17:51:42.364595
• Title: Spiking Network Initialisation and Firing Rate Collapse
• Title（参考訳）: スパイキングネットワークの初期化とフィリングレートの崩壊
• Authors: Nicolas Perez-Nieves and Dan F.M Goodman
• Abstract要約: スパイクニューラルネットワーク(SNN)の優れた初期化を構成するものは不明である。 ANNの重量初期化問題は、SNNのスパイク・アンド・リセット非直線性のため、ANNの重量初期化の問題よりも、ANNの重量初期化の問題であることが示される。 我々は,ANNの分散伝播技術と異なる手法を組み合わせたSNN初期化手法を考案し,期待される発火速度と膜電位分布を求める。
• 参考スコア（独自算出の注目度）: 3.7057859167913456
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In recent years, newly developed methods to train spiking neural networks (SNNs) have rendered them as a plausible alternative to Artificial Neural Networks (ANNs) in terms of accuracy, while at the same time being much more energy efficient at inference and potentially at training time. However, it is still unclear what constitutes a good initialisation for an SNN. We often use initialisation schemes developed for ANN training which are often inadequate and require manual tuning. In this paper, we attempt to tackle this issue by using techniques from the ANN initialisation literature as well as computational neuroscience results. We show that the problem of weight initialisation for ANNs is a more nuanced problem than it is for ANNs due to the spike-and-reset non-linearity of SNNs and the firing rate collapse problem. We firstly identify and propose several solutions to the firing rate collapse problem under different sets of assumptions which successfully solve the issue by leveraging classical random walk and Wiener processes results. Secondly, we devise a general strategy for SNN initialisation which combines variance propagation techniques from ANNs and different methods to obtain the expected firing rate and membrane potential distribution based on diffusion and shot-noise approximations. Altogether, we obtain theoretical results to solve the SNN initialisation which consider the membrane potential distribution in the presence of a threshold. Yet, to what extent can these methods be successfully applied to SNNs on real datasets remains an open question.
• Abstract（参考訳）: 近年、スパイクニューラルネットワーク(SNN)を訓練する手法が開発され、精度の面ではArtificial Neural Networks(ANN)の代替となり、同時に推論やトレーニング時のエネルギー効率も向上している。 しかし、SNNの優れた初期化を構成するものについては、まだ不明である。 ANNトレーニングのために開発された初期化スキームは、しばしば不十分で手動チューニングを必要とする。 本稿では,ANN初期化文献の手法と計算神経科学結果を用いてこの問題に対処する。 提案手法では,snsのスパイク・リセット非線形性と燃焼速度の崩壊問題により,annの重量初期化問題はannよりも微妙な問題であることを示した。 まず,従来のランダムウォーク法とウィーナー法を応用して,様々な仮定の集合の下で発火速度崩壊問題に対するいくつかの解を同定し,提案する。 次に,annからの分散伝播法と異なる手法を組み合わせたsn初期化のための一般的な戦略を考案し,拡散とショットノイズ近似に基づく期待発火率と膜電位分布を求める。 また, しきい値の存在下での膜電位分布を考慮したSNN初期化を理論的に検討した。 しかし、これらの手法が実際のデータセット上でSNNにどの程度うまく適用できるかは未解決のままである。

関連論文リスト

• Deep activity propagation via weight initialization in spiking neural networks [10.69085409825724]
  Spiking Neural Networks (SNN)は、スパーシリティや超低消費電力といったバイオインスパイアされた利点を提供する。 ディープSNNは、実数値膜電位をバイナリスパイクに量子化することで、情報を処理し、伝達する。 提案手法は, 従来の手法とは異なり, スパイクの損失を伴わずに, 深部SNNにおける活動の伝播を可能にすることを理論的に示す。
  論文  参考訳（メタデータ） (2024-10-01T11:02:34Z)
• Converting High-Performance and Low-Latency SNNs through Explicit Modelling of Residual Error in ANNs [27.46147049872907]
  スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率とニューロモルフィックチップの優れた効果のために関心を集めている。 ディープSNNの実装における主要なアプローチの1つは、ANN-SNN変換である。 本稿では,残差を付加雑音として明示的にモデル化した新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-26T14:50:46Z)
• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
  バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である 深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。 我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
  論文  参考訳（メタデータ） (2023-06-14T21:01:35Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Fluctuation-driven initialization for spiking neural network training [3.976291254896486]
  スパイキングニューラルネットワーク(SNN)は、脳内の低出力でフォールトトレラントな情報処理を実現する。 我々は、脳内でよく見られるゆらぎ駆動型体制にインスパイアされたSNNの一般的な戦略を開発する。
  論文  参考訳（メタデータ） (2022-06-21T09:48:49Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Direct Training via Backpropagation for Ultra-low Latency Spiking Neural Networks with Multi-threshold [3.286515597773624]
  スパイキングニューラルネットワーク(SNN)は、時間的情報を活用することができ、エネルギー効率の性質を持つ。 マルチスレッドモデルを用いた超低レイテンシ(1-2タイムスレッショルド)SNNのためのバックプロパゲーション(BP)に基づく新しいトレーニング手法を提案する。 提案手法は, MNIST, FashionMNIST, CIFAR10の平均精度が99.56%, 93.08%, 87.90%であり, それぞれ2段階のみである。
  論文  参考訳（メタデータ） (2021-11-25T07:04:28Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。