論文の概要: DelGrad: Exact gradients in spiking networks for learning transmission delays and weights

• arxiv url: http://arxiv.org/abs/2404.19165v1
• Date: Tue, 30 Apr 2024 00:02:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 15:53:21.654914
• Title: DelGrad: Exact gradients in spiking networks for learning transmission delays and weights
• Title（参考訳）: DelGrad: 送受信遅延と重みを学習するためのスパイキングネットワークの厳格な勾配
• Authors: Julian Göltz, Jimmy Weber, Laura Kriener, Peter Lake, Melika Payvand, Mihai A. Petrovici,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。 最近の研究は、これらの遅延とシナプス重みを学習する大きな利点を示している。 イベントベース方式で, シナプス重みと遅延の両方に関して, 正確な損失勾配を計算するための解析的アプローチを提案する。
• 参考スコア（独自算出の注目度）: 0.9411751957919126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking neural networks (SNNs) inherently rely on the timing of signals for representing and processing information. Transmission delays play an important role in shaping these temporal characteristics. Recent work has demonstrated the substantial advantages of learning these delays along with synaptic weights, both in terms of accuracy and memory efficiency. However, these approaches suffer from drawbacks in terms of precision and efficiency, as they operate in discrete time and with approximate gradients, while also requiring membrane potential recordings for calculating parameter updates. To alleviate these issues, we propose an analytical approach for calculating exact loss gradients with respect to both synaptic weights and delays in an event-based fashion. The inclusion of delays emerges naturally within our proposed formalism, enriching the model's search space with a temporal dimension. Our algorithm is purely based on the timing of individual spikes and does not require access to other variables such as membrane potentials. We explicitly compare the impact on accuracy and parameter efficiency of different types of delays - axonal, dendritic and synaptic. Furthermore, while previous work on learnable delays in SNNs has been mostly confined to software simulations, we demonstrate the functionality and benefits of our approach on the BrainScaleS-2 neuromorphic platform.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。 伝送遅延は、これらの時間特性を形成する上で重要な役割を果たす。 最近の研究は、精度とメモリ効率の両面で、これらの遅延をシナプス重みと共に学習する大きな利点を示している。 しかし、これらの手法は、離散時間と近似勾配で動作し、パラメータ更新を計算するために膜電位記録を必要とするため、精度と効率の面で欠点に悩まされている。 これらの問題を緩和するために、イベントベース方式で、シナプス重みと遅延の両方に関して、正確な損失勾配を計算するための分析的アプローチを提案する。 遅延の包含は、提案した形式主義の中に自然に現れ、時間次元でモデルの探索空間を豊かにする。 我々のアルゴリズムは、個々のスパイクのタイミングに基づいており、膜電位などの他の変数へのアクセスを必要としない。 軸索,樹状突起,シナプスの異なる種類の遅延の精度とパラメータ効率への影響を明示的に比較する。 さらに、SNNの学習可能な遅延に関するこれまでの研究は、主にソフトウェアシミュレーションに限られていたが、我々はBrainScaleS-2ニューロモルフィックプラットフォームにおける我々のアプローチの機能と利点を実証した。

関連論文リスト

• Efficient Event-based Delay Learning in Spiking Neural Networks [0.1350479308585481]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わるエネルギー効率の高い代替手段として注目を集めている。 本研究では,EventPropProp形式に基づくSNNのための新しいイベントベーストレーニング手法を提案する。 提案手法は,現在最先端の遅延学習手法のメモリの半分以下を用いており,最大26倍高速であることを示す。
  論文  参考訳（メタデータ） (2025-01-13T13:44:34Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Hardware-aware training of models with synaptic delays for digital event-driven neuromorphic processors [1.3415700412919966]
  本稿では,高パフォーマンススパイキングニューラルネットワークモデル(SNN)を用いた,ディジタルニューロモルフィックハードウェアのトレーニングと展開のためのフレームワークを提案する。 トレーニングは、ネットワークサイズの関数として、シナプスウェイト精度やコア毎のパラメータの総数など、両方のプラットフォーム制約を考慮に入れている。 トレーニングされたモデルを、Intel LoihiとImec Senecaの2つのニューロモルフィックデジタルハードウェアプラットフォームで評価した。
  論文  参考訳（メタデータ） (2024-04-16T14:22:58Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware [50.380319968947035]
  近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。 文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。 フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。 LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
  論文  参考訳（メタデータ） (2022-05-30T14:30:45Z)
• EXODUS: Stable and Efficient Training of Spiking Neural Networks [0.0]
  エネルギー効率が最も重要である機械学習タスクでは、スパイキングニューラルネットワーク(SNN)が大きな注目を集めている。 ShresthaとOrchard [2018]による以前の作業では、SLAYERと呼ばれる効率的なGPU加速バックプロパゲーションアルゴリズムが採用されており、トレーニングの大幅なスピードアップを実現している。 我々はSLAYERを修正してEXODUSと呼ばれるアルゴリズムを設計し、ニューロンリセット機構を考慮し、インプリシット関数定理(IFT)を適用して正しい勾配を計算する。
  論文  参考訳（メタデータ） (2022-05-20T15:13:58Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Axonal Delay As a Short-Term Memory for Feed Forward Deep Spiking Neural Networks [3.985532502580783]
  近年の研究では、学習過程において神経細胞の時間遅延が重要な役割を担っていることが判明している。 スパイクの正確なタイミングを設定することは、SNNにおける時間情報の伝達過程を理解し改善するための有望な方向である。 本稿では,教師付き学習に時間遅延を統合することの有効性を検証するとともに,短期記憶による軸索遅延を変調するモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-20T16:56:42Z)
• Ultra-low Latency Spiking Neural Networks with Spatio-Temporal Compression and Synaptic Convolutional Block [4.081968050250324]
  スパイキングニューラルネットワーク(SNN)は、神経時間情報能力、低処理機能、高い生物学的妥当性を有する。 Neuro-MNIST、CIFAR10-S、DVS128ジェスチャデータセットは、個々のイベントをフレームに集約し、イベントストリーム分類の時間分解能を高める必要がある。 本研究では,NIST電流の時間ステップに個々のイベントを集約し,トレーニングや推論の遅延を低減する処理時間圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-03-18T15:14:13Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。