論文の概要: Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation

• arxiv url: http://arxiv.org/abs/2408.07517v1
• Date: Wed, 14 Aug 2024 12:49:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-15 13:24:15.160736
• Title: Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation
• Title（参考訳）: 適応によるスパイキングニューラルネットワークの時空間処理の高速化
• Authors: Maximilian Baronig, Romain Ferrand, Silvester Sabathiel, Robert Legenstein,
• Abstract要約: 本稿では、適応LIFニューロンとそのネットワークの動的、計算的、および学習特性について分析する。 適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。
• 参考スコア（独自算出の注目度）: 6.233189707488025
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Efficient implementations of spiking neural networks on neuromorphic hardware promise orders of magnitude less power consumption than their non-spiking counterparts. The standard neuron model for spike-based computation on such neuromorphic systems has long been the leaky integrate-and-fire (LIF) neuron. As a promising advancement, a computationally light augmentation of the LIF neuron model with an adaptation mechanism experienced a recent upswing in popularity, caused by demonstrations of its superior performance on spatio-temporal processing tasks. The root of the superiority of these so-called adaptive LIF neurons however, is not well understood. In this article, we thoroughly analyze the dynamical, computational, and learning properties of adaptive LIF neurons and networks thereof. We find that the frequently observed stability problems during training of such networks can be overcome by applying an alternative discretization method that results in provably better stability properties than the commonly used Euler-Forward method. With this discretization, we achieved a new state-of-the-art performance on common event-based benchmark datasets. We also show that the superiority of networks of adaptive LIF neurons extends to the prediction and generation of complex time series. Our further analysis of the computational properties of networks of adaptive LIF neurons shows that they are particularly well suited to exploit the spatio-temporal structure of input sequences. Furthermore, these networks are surprisingly robust to shifts of the mean input strength and input spike rate, even when these shifts were not observed during training. As a consequence, high-performance networks can be obtained without any normalization techniques such as batch normalization or batch-normalization through time.
• Abstract（参考訳）: ニューロモルフィックハードウェア上でのスパイクニューラルネットワークの効率的な実装は、非スパイクニューラルネットワークよりも消費電力が桁違い少ないことを約束する。 このようなニューロモルフィックシステム上でのスパイクベースの計算の標準的なニューロンモデルは、長い間、漏れやすい統合と火災(LIF)ニューロンであった。 将来的な進歩として、LIFニューロンモデルの適応機構による計算的軽量化は、時空間処理タスクにおける優れたパフォーマンスの実証によって、近年人気が高まっている。 しかし、これらの適応LIFニューロンの優越性の根源はよく分かっていない。 本稿では,適応LIFニューロンとそのネットワークの動的・計算的・学習的特性を網羅的に解析する。 このようなネットワークのトレーニング中に頻繁に観測される安定性問題は、一般的に使用されるオイラー・フォワード法よりも確実に優れた安定性特性をもたらす別の離散化法を適用することで克服できる。 この離散化により、一般的なイベントベースのベンチマークデータセット上で、最先端のパフォーマンスを新たに達成しました。 また、適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。 適応LIFニューロンのネットワークの計算特性のさらなる解析は、入力シーケンスの時空間構造を利用するのに特に適していることを示している。 さらに、これらのネットワークは、トレーニング中にこれらのシフトが観測されなかった場合でも、平均入力強度と入力スパイクレートのシフトに対して驚くほど堅牢である。 その結果, バッチ正規化やバッチ正規化などの正規化手法を使わずに, 高性能ネットワークが得られることがわかった。

関連論文リスト

• Channel-wise Parallelizable Spiking Neuron with Multiplication-free Dynamics and Large Temporal Receptive Fields [32.349167886062105]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークにインスパイアされた洗練された神経力学とスパースバイナリアクティベーション(スパイクス)によって、ニューラルネットワーク(ANN)と区別される。 従来のニューロンモデルは反復的なステップバイステップのダイナミクスを使用し、シリアル計算とSNNの遅いトレーニング速度をもたらす。 最近の並列化可能なスパイクニューロンモデルは、SNNの訓練を加速するために、グラフィックス処理ユニットの大規模並列計算能力をフル活用するために提案されている。
  論文  参考訳（メタデータ） (2025-01-24T13:44:08Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Bio-Inspired Adaptive Neurons for Dynamic Weighting in Artificial Neural Networks [6.931200003384122]
  従来のニューラルネットワークは、推論中に一定の重みを使い、入力条件の変化に適応する能力を制限する。 本稿では,ニューロン重みを入力信号の関数としてモデル化する,適応型ニューラルネットワークのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-02T12:45:30Z)
• Time-independent Spiking Neuron via Membrane Potential Estimation for Efficient Spiking Neural Networks [4.142699381024752]
  スパイキングニューラルネットワーク(SNN)の計算的非効率性は、主に膜電位の逐次更新によるものである。 スパイキングニューロンの並列計算法である膜電位推定並列スパイキングニューロン(MPE-PSN)を提案する。 提案手法では,特に高次ニューロン密度条件下での計算効率の向上が期待できる。
  論文  参考訳（メタデータ） (2024-09-08T05:14:22Z)
• Neuroevolving Electronic Dynamical Networks [0.0]
  ニューロ進化(Neuroevolution)は、自然選択によって人工ニューラルネットワークの性能を改良するために進化的アルゴリズムを適用する方法である。 連続時間リカレントニューラルネットワーク(CTRNN)の適合性評価は、時間と計算コストがかかる可能性がある。 フィールドプログラマブルゲートアレイ(FPGA)は、高性能で消費電力の少ないため、ますます人気が高まっている。
  論文  参考訳（メタデータ） (2024-04-06T10:54:35Z)
• Unleashing the Potential of Spiking Neural Networks for Sequential Modeling with Contextual Embedding [32.25788551849627]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、長期的な時間的関係をモデル化する上で、生物学的に競合するものと一致しようと苦労してきた。 本稿では,新しい文脈埋め込みLeaky Integrate-and-Fire(CE-LIF)スパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-29T09:33:10Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
  スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。 深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
  論文  参考訳（メタデータ） (2023-06-22T04:25:27Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks [3.7384509727711923]
  ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。 本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。 提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T14:03:41Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks [0.9790524827475205]
  本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。 我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
  論文  参考訳（メタデータ） (2020-05-24T01:04:53Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。