論文の概要: Understanding the Convergence in Balanced Resonate-and-Fire Neurons
- arxiv url: http://arxiv.org/abs/2406.00389v1
- Date: Sat, 1 Jun 2024 10:04:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 07:15:00.995254
- Title: Understanding the Convergence in Balanced Resonate-and-Fire Neurons
- Title（参考訳）: 平衡共振・発火ニューロンの収束性を理解する
- Authors: Saya Higuchi, Sander M. Bohte, Sebastian Otte,
- Abstract要約: Resonate-and-Fire(RF)ニューロンは、スパイキングニューラルネットワーク(SNN)におけるインテグレーターニューロンの興味深い補体モデルである
最近提案されたリゾネート・アンド・ファイア(BRF)ニューロンは、タスク性能、スパイク、パラメータ効率において重要な方法論的進歩を示した。
本稿は、これらの収束優位性の出現の経緯と理由について、さらなる直感を提供することを目的としている。
- 参考スコア（独自算出の注目度）: 1.4186974630564675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Resonate-and-Fire (RF) neurons are an interesting complementary model for integrator neurons in spiking neural networks (SNNs). Due to their resonating membrane dynamics they can extract frequency patterns within the time domain. While established RF variants suffer from intrinsic shortcomings, the recently proposed balanced resonate-and-fire (BRF) neuron marked a significant methodological advance in terms of task performance, spiking and parameter efficiency, as well as, general stability and robustness, demonstrated for recurrent SNNs in various sequence learning tasks. One of the most intriguing result, however, was an immense improvement in training convergence speed and smoothness, overcoming the typical convergence dilemma in backprop-based SNN training. This paper aims at providing further intuitions about how and why these convergence advantages emerge. We show that BRF neurons, in contrast to well-established ALIF neurons, span a very clean and smooth - almost convex - error landscape. Furthermore, empirical results reveal that the convergence benefits are predominantly coupled with a divergence boundary-aware optimization, a major component of the BRF formulation that addresses the numerical stability of the time-discrete resonator approximation. These results are supported by a formal investigation of the membrane dynamics indicating that the gradient is transferred back through time without loss of magnitude.
- Abstract（参考訳）: Resonate-and-Fire(RF)ニューロンは、スパイキングニューラルネットワーク(SNN)におけるインテグレーターニューロンの興味深い補完モデルである。
共鳴膜力学により、時間領域内で周波数パターンを抽出することができる。
確立されたRF変種は本態的な欠点に悩まされているが,近年提案された平衡共振器(BRF)ニューロンは,タスク性能,スパイク,パラメータ効率の面で重要な方法論的進歩をみせた。
しかし、最も興味深い結果の1つは、バックプロップベースのSNNトレーニングにおける典型的な収束ジレンマを克服し、トレーニング収束速度と滑らか性を大幅に改善したことである。
本稿は、これらの収束優位性の出現の経緯と理由について、さらなる直感を提供することを目的としている。
BRFニューロンは、確立されたALIFニューロンとは対照的に、非常に清潔で滑らかでほぼ凸なエラーランドスケープにまたがっている。
さらに, 時間分散共振器近似の数値安定性に対処するBRF定式化の主成分である分散境界認識最適化と, 収束の利点が主に結合していることが実証的な結果から明らかとなった。
これらの結果は膜力学の形式的な研究によって支持され、勾配はマグニチュードを損なわずに時間経過とともに戻されることを示す。
関連論文リスト
- Spiking Neural Networks with Consistent Mapping Relations Allow High-Accuracy Inference [9.667807887916132]
スパイクベースのニューロモルフィックハードウェアは、低エネルギー消費と効率的な推論において大きな可能性を証明している。
ディープスパイクニューラルネットワークの直接トレーニングは困難であり、変換ベースの手法では未解決の変換エラーのため、かなりの遅延が必要になる。
論文 参考訳（メタデータ） (2024-06-08T06:40:00Z) - Rethinking Spiking Neural Networks as State Space Models [1.9775291915550175]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わる生物学的に妥当な代替品として提案されている。
状態空間モデルに基づく新しいスパイキング神経モデルについて述べる。
我々のモデルは、様々な長距離依存タスクにまたがるSNNモデル間の最先端性能を実現する。
論文 参考訳（メタデータ） (2024-06-05T04:23:11Z) - Balanced Resonate-and-Fire Neurons [1.4186974630564675]
我々はバニラRFニューロンの内在的制限を緩和する平衡RFニューロン(BRF)を導入する。
BRFニューロンのネットワークは、全体的なタスク性能を向上し、スパイクのごく一部しか発生せず、現代のRSNNに比べてパラメータが大幅に少ないことを示す。
論文 参考訳（メタデータ） (2024-02-02T12:57:21Z) - Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。
実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。
したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
論文 参考訳（メタデータ） (2023-07-14T08:51:03Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Heterogeneous Neuronal and Synaptic Dynamics for Spike-Efficient
Unsupervised Learning: Theory and Design Principles [13.521272923545409]
我々は、ニューロンの統合/緩和ダイナミクスの多様性が、RSNNがより異なる入力パターン(より高いメモリ容量)を学習する能力を向上させることを解析的に示す。
さらに, シナプスのヘテロジニアススパイク-タイミング-依存性-Plasticity (STDP) はスパイク活性を低下させるが, メモリ容量は維持することを示した。
論文 参考訳（メタデータ） (2023-02-22T19:48:02Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳（メタデータ） (2022-06-29T19:03:10Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and
Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。
適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。
MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
論文 参考訳（メタデータ） (2021-05-27T08:38:31Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。