論文の概要: Learning Precise Spike Timings with Eligibility Traces

• arxiv url: http://arxiv.org/abs/2006.09988v1
• Date: Fri, 8 May 2020 09:19:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 11:41:02.440696
• Title: Learning Precise Spike Timings with Eligibility Traces
• Title（参考訳）: 適性トレースを用いた正確なスパイクタイミングの学習
• Authors: Manuel Traub, Martin V. Butz, R. Harald Baayen, Sebastian Otte
• Abstract要約: 我々は,e-propの可視性方程式の中で,STDP対応のシナプス勾配が自然に現れることを示す。 また、同様の勾配を提供するLIFモデルの簡単な拡張も提示する。 簡単な実験で、STDP対応LIFニューロンは、電子プロップに基づく勾配信号から正確なスパイクタイミングを学習できることを示した。
• 参考スコア（独自算出の注目度）: 1.3190581566723916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research in the field of spiking neural networks (SNNs) has shown that recurrent variants of SNNs, namely long short-term SNNs (LSNNs), can be trained via error gradients just as effective as LSTMs. The underlying learning method (e-prop) is based on a formalization of eligibility traces applied to leaky integrate and fire (LIF) neurons. Here, we show that the proposed approach cannot fully unfold spike timing dependent plasticity (STDP). As a consequence, this limits in principle the inherent advantage of SNNs, that is, the potential to develop codes that rely on precise relative spike timings. We show that STDP-aware synaptic gradients naturally emerge within the eligibility equations of e-prop when derived for a slightly more complex spiking neuron model, here at the example of the Izhikevich model. We also present a simple extension of the LIF model that provides similar gradients. In a simple experiment we demonstrate that the STDP-aware LIF neurons can learn precise spike timings from an e-prop-based gradient signal.
• Abstract（参考訳）: スパイクニューラルネットワーク(SNN)の分野での最近の研究は、SNNの反復的な変種、すなわち長期SNN(LSNN)は、LSTMと同様にエラー勾配によって訓練できることを示した。 基礎となる学習法(e-prop)は、漏れた統合と発火(LIF)ニューロンに適用される可視性トレースの形式化に基づいている。 ここでは,提案手法はスパイクタイミング依存塑性(STDP)を完全に展開できないことを示す。 結果として、この制限は原則として、SNNの本質的な利点、すなわち、正確な相対スパイクタイミングに依存するコードを開発する可能性である。 より複雑なスパイクニューロンモデルから導出した場合,STDP対応のシナプス勾配がe-propの許容方程式内に自然に現れることを示す。 また、同様の勾配を提供するLIFモデルの簡単な拡張も提示する。 簡単な実験では、STDP対応LIFニューロンが電子プロップに基づく勾配信号から正確なスパイクタイミングを学習できることを示した。

関連論文リスト

• Fractional-order spike-timing-dependent gradient descent for multi-layer spiking neural networks [18.142378139047977]
  本稿では,数次スパイクタイピング依存勾配勾配(FOSTDGD)学習モデルを提案する。 TheNISTとDVS128 Gestureデータセットでテストし、その精度を異なるネットワーク構造と分数順序で分析する。
  論文  参考訳（メタデータ） (2024-10-20T05:31:34Z)
• Membrane Potential Distribution Adjustment and Parametric Surrogate Gradient in Spiking Neural Networks [3.485537704990941]
  この問題を回避し、SNNをゼロから訓練するために、SG戦略を調査し、適用した。 パラメトリックサロゲート勾配(PSG)法を提案し,SGを反復的に更新し,最終的に最適なサロゲート勾配パラメータを決定する。 実験結果から,提案手法は時間によるバックプロパゲーション(BPTT)アルゴリズムと容易に統合可能であることが示された。
  論文  参考訳（メタデータ） (2023-04-26T05:02:41Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• KLIF: An optimized spiking neuron unit for tuning surrogate gradient slope and membrane potential [0.0]
  スパイキングニューラルネットワーク(SNN)は、時間情報を処理する能力によって、多くの注目を集めている。 SNNのための効率的かつ高性能な学習アルゴリズムを開発することは依然として困難である。 我々は,SNNの学習能力を向上させるため,新しいk-based leaky Integrate-and-Fireneurnモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-18T05:18:18Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Multi-Sample Online Learning for Probabilistic Spiking Neural Networks [43.8805663900608]
  スパイキングニューラルネットワーク(SNN)は、推論と学習のための生物学的脳の効率の一部をキャプチャする。 本稿では,一般化予測最大化(GEM)に基づくオンライン学習ルールを提案する。 標準ニューロモルフィックデータセットにおける構造化された出力記憶と分類実験の結果,ログの類似性,精度,キャリブレーションの点で大きな改善が見られた。
  論文  参考訳（メタデータ） (2020-07-23T10:03:58Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。