論文の概要: Overcoming the Limitations of Layer Synchronization in Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2408.05098v1
- Date: Fri, 9 Aug 2024 14:39:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 15:27:33.621038
- Title: Overcoming the Limitations of Layer Synchronization in Spiking Neural Networks
- Title（参考訳）: スパイクニューラルネットワークにおける層同期の限界を克服する
- Authors: Roel Koopman, Amirreza Yousefzadeh, Mahyar Shahsavari, Guangzhi Tang, Manolis Sifalakis,
- Abstract要約: 真に非同期なシステムでは、すべてのニューロンが閾値を同時に評価し、シナプス前電流を受けるとスパイクを発生させることができる。
本稿では,ネットワーク同期を実装したシミュレーション環境において,この問題を3つのデータセットで文書化し,定量化する。
レイヤ同期で訓練されたモデルは、同期がない場合にサブ最適に実行するか、エネルギーと遅延の低減の恩恵を受けないことを示す。
- 参考スコア（独自算出の注目度）: 0.11522790873450185
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Currently, neural-network processing in machine learning applications relies on layer synchronization, whereby neurons in a layer aggregate incoming currents from all neurons in the preceding layer, before evaluating their activation function. This is practiced even in artificial Spiking Neural Networks (SNNs), which are touted as consistent with neurobiology, in spite of processing in the brain being, in fact asynchronous. A truly asynchronous system however would allow all neurons to evaluate concurrently their threshold and emit spikes upon receiving any presynaptic current. Omitting layer synchronization is potentially beneficial, for latency and energy efficiency, but asynchronous execution of models previously trained with layer synchronization may entail a mismatch in network dynamics and performance. We present a study that documents and quantifies this problem in three datasets on our simulation environment that implements network asynchrony, and we show that models trained with layer synchronization either perform sub-optimally in absence of the synchronization, or they will fail to benefit from any energy and latency reduction, when such a mechanism is in place. We then "make ends meet" and address the problem with unlayered backprop, a novel backpropagation-based training method, for learning models suitable for asynchronous processing. We train with it models that use different neuron execution scheduling strategies, and we show that although their neurons are more reactive, these models consistently exhibit lower overall spike density (up to 50%), reach a correct decision faster (up to 2x) without integrating all spikes, and achieve superior accuracy (up to 10% higher). Our findings suggest that asynchronous event-based (neuromorphic) AI computing is indeed more efficient, but we need to seriously rethink how we train our SNN models, to benefit from it.
- Abstract（参考訳）: 現在、機械学習アプリケーションにおけるニューラルネット処理は、活性化関数を評価する前に、前層のすべてのニューロンからの入力電流を階層内のニューロンが集約する層同期に依存している。
これは、脳内の処理が非同期であるにもかかわらず、神経生物学と整合していると称される人工スパイキングニューラルネットワーク(SNN)でも実践されている。
しかし、真に非同期なシステムでは、すべてのニューロンがその閾値を同時に評価し、シナプス前電流を受けるとスパイクを発生させることができる。
レイヤ同期はレイテンシとエネルギー効率において潜在的に有益であるが、以前レイヤ同期でトレーニングされたモデルの非同期実行には、ネットワークのダイナミクスとパフォーマンスのミスマッチが伴う可能性がある。
本稿では,ネットワーク同期を実装したシミュレーション環境上の3つのデータセットにこの問題を文書化して定量化する手法を提案する。
そして、非同期処理に適したモデルを学ぶための、新しいバックプロパゲーションベースのトレーニング手法である非層バックプロップで問題に対処する。
異なるニューロン実行スケジューリング戦略を使用するモデルをトレーニングし、それらのニューロンはより反応性が高いが、一貫して全体的なスパイク密度(50%まで)が低く、すべてのスパイクを統合することなく正しい決定(最大2倍)に達し、より優れた精度(最大10%以上)を達成することを示した。
我々の発見は、非同期イベントベースの(ニューロモーフィックな)AIコンピューティングは、確かにより効率的であることを示しているが、その恩恵を受けるためには、SNNモデルをトレーニングする方法を真剣に再考する必要がある。
関連論文リスト
- Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
本稿では、適応LIFニューロンとそのネットワークの動的、計算的、および学習特性について分析する。
適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。
論文 参考訳（メタデータ） (2024-08-14T12:49:58Z) - Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳（メタデータ） (2023-04-14T09:39:06Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - SpikiLi: A Spiking Simulation of LiDAR based Real-time Object Detection
for Autonomous Driving [0.0]
Spiking Neural Networksは、電力効率、計算効率、処理遅延を大幅に改善する新しいニューラルネットワーク設計アプローチである。
まず,複雑なディープラーニングタスク,すなわちLidarベースの3Dオブジェクト検出による自動運転への適用性について説明する。
論文 参考訳（メタデータ） (2022-06-06T20:05:17Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Learning Without a Global Clock: Asynchronous Learning in a
Physics-Driven Learning Network [1.3124513975412255]
学習過程の非同期化は、理想的なシミュレーションにおいて、様々なタスクのパフォーマンスを劣化させるものではないことを示す。
我々は、勾配降下における非同期性とミニバッチの類似性を示し、それらが学習過程に類似した影響を示す。
論文 参考訳（メタデータ） (2022-01-10T05:38:01Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and
Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。
適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。
MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
論文 参考訳（メタデータ） (2021-05-27T08:38:31Z) - Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。
我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
論文 参考訳（メタデータ） (2021-04-21T18:23:31Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z) - Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。
同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。
理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文 参考訳（メタデータ） (2020-03-20T08:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。