論文の概要: Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation

• arxiv url: http://arxiv.org/abs/2408.07517v1
• Date: Wed, 14 Aug 2024 12:49:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 13:24:15.160736
• Title: Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation
• Title（参考訳）: 適応によるスパイキングニューラルネットワークの時空間処理の高速化
• Authors: Maximilian Baronig, Romain Ferrand, Silvester Sabathiel, Robert Legenstein,
• Abstract要約: 本稿では、適応LIFニューロンとそのネットワークの動的、計算的、および学習特性について分析する。 適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。
• 参考スコア（独自算出の注目度）: 6.233189707488025
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Efficient implementations of spiking neural networks on neuromorphic hardware promise orders of magnitude less power consumption than their non-spiking counterparts. The standard neuron model for spike-based computation on such neuromorphic systems has long been the leaky integrate-and-fire (LIF) neuron. As a promising advancement, a computationally light augmentation of the LIF neuron model with an adaptation mechanism experienced a recent upswing in popularity, caused by demonstrations of its superior performance on spatio-temporal processing tasks. The root of the superiority of these so-called adaptive LIF neurons however, is not well understood. In this article, we thoroughly analyze the dynamical, computational, and learning properties of adaptive LIF neurons and networks thereof. We find that the frequently observed stability problems during training of such networks can be overcome by applying an alternative discretization method that results in provably better stability properties than the commonly used Euler-Forward method. With this discretization, we achieved a new state-of-the-art performance on common event-based benchmark datasets. We also show that the superiority of networks of adaptive LIF neurons extends to the prediction and generation of complex time series. Our further analysis of the computational properties of networks of adaptive LIF neurons shows that they are particularly well suited to exploit the spatio-temporal structure of input sequences. Furthermore, these networks are surprisingly robust to shifts of the mean input strength and input spike rate, even when these shifts were not observed during training. As a consequence, high-performance networks can be obtained without any normalization techniques such as batch normalization or batch-normalization through time.
• Abstract（参考訳）: ニューロモルフィックハードウェア上でのスパイクニューラルネットワークの効率的な実装は、非スパイクニューラルネットワークよりも消費電力が桁違い少ないことを約束する。 このようなニューロモルフィックシステム上でのスパイクベースの計算の標準的なニューロンモデルは、長い間、漏れやすい統合と火災(LIF)ニューロンであった。 将来的な進歩として、LIFニューロンモデルの適応機構による計算的軽量化は、時空間処理タスクにおける優れたパフォーマンスの実証によって、近年人気が高まっている。 しかし、これらの適応LIFニューロンの優越性の根源はよく分かっていない。 本稿では,適応LIFニューロンとそのネットワークの動的・計算的・学習的特性を網羅的に解析する。 このようなネットワークのトレーニング中に頻繁に観測される安定性問題は、一般的に使用されるオイラー・フォワード法よりも確実に優れた安定性特性をもたらす別の離散化法を適用することで克服できる。 この離散化により、一般的なイベントベースのベンチマークデータセット上で、最先端のパフォーマンスを新たに達成しました。 また、適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。 適応LIFニューロンのネットワークの計算特性のさらなる解析は、入力シーケンスの時空間構造を利用するのに特に適していることを示している。 さらに、これらのネットワークは、トレーニング中にこれらのシフトが観測されなかった場合でも、平均入力強度と入力スパイクレートのシフトに対して驚くほど堅牢である。 その結果, バッチ正規化やバッチ正規化などの正規化手法を使わずに, 高性能ネットワークが得られることがわかった。

関連論文リスト

• Time-independent Spiking Neuron via Membrane Potential Estimation for Efficient Spiking Neural Networks [4.142699381024752]
  スパイキングニューラルネットワーク(SNN)の計算的非効率性は、主に膜電位の逐次更新によるものである。 スパイキングニューロンの並列計算法である膜電位推定並列スパイキングニューロン(MPE-PSN)を提案する。 提案手法では,特に高次ニューロン密度条件下での計算効率の向上が期待できる。
  論文  参考訳（メタデータ） (2024-09-08T05:14:22Z)
• Neuroevolving Electronic Dynamical Networks [0.0]
  ニューロ進化(Neuroevolution)は、自然選択によって人工ニューラルネットワークの性能を改良するために進化的アルゴリズムを適用する方法である。 連続時間リカレントニューラルネットワーク(CTRNN)の適合性評価は、時間と計算コストがかかる可能性がある。 フィールドプログラマブルゲートアレイ(FPGA)は、高性能で消費電力の少ないため、ますます人気が高まっている。
  論文  参考訳（メタデータ） (2024-04-06T10:54:35Z)
• Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
  スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。 深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
  論文  参考訳（メタデータ） (2023-06-22T04:25:27Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks [0.9790524827475205]
  本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。 我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
  論文  参考訳（メタデータ） (2020-05-24T01:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。