論文の概要: DelGrad: Exact event-based gradients in spiking networks for training delays and weights

• arxiv url: http://arxiv.org/abs/2404.19165v2
• Date: Tue, 24 Dec 2024 10:41:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:53:34.364006
• Title: DelGrad: Exact event-based gradients in spiking networks for training delays and weights
• Title（参考訳）: DelGrad: トレーニング遅延とウェイトのためのスパイキングネットワークにおけるイベントベースグラデーションの厳格化
• Authors: Julian Göltz, Jimmy Weber, Laura Kriener, Sebastian Billaudelle, Peter Lake, Johannes Schemmel, Melika Payvand, Mihai A. Petrovici,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。 我々は,シナプス重みと遅延の両方について,正確な損失勾配を計算するイベントベース手法であるDelGradを提案する。 ノイズの多い混合信号ハードウェア上でSNNに遅延を追加する際のメモリ効率と精度の利点を実験的に示す。
• 参考スコア（独自算出の注目度）: 1.5226147562426895
• License:
• Abstract: Spiking neural networks (SNNs) inherently rely on the timing of signals for representing and processing information. Incorporating trainable transmission delays, alongside synaptic weights, is crucial for shaping these temporal dynamics. While recent methods have shown the benefits of training delays and weights in terms of accuracy and memory efficiency, they rely on discrete time, approximate gradients, and full access to internal variables like membrane potentials. This limits their precision, efficiency, and suitability for neuromorphic hardware due to increased memory requirements and I/O bandwidth demands. To address these challenges, we propose DelGrad, an analytical, event-based method to compute exact loss gradients for both synaptic weights and delays. The inclusion of delays in the training process emerges naturally within our proposed formalism, enriching the model's search space with a temporal dimension. Moreover, DelGrad, grounded purely in spike timing, eliminates the need to track additional variables such as membrane potentials. To showcase this key advantage, we demonstrate the functionality and benefits of DelGrad on the BrainScaleS-2 neuromorphic platform, by training SNNs in a chip-in-the-loop fashion. For the first time, we experimentally demonstrate the memory efficiency and accuracy benefits of adding delays to SNNs on noisy mixed-signal hardware. Additionally, these experiments also reveal the potential of delays for stabilizing networks against noise. DelGrad opens a new way for training SNNs with delays on neuromorphic hardware, which results in less number of required parameters, higher accuracy and ease of hardware training.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。 シナプス重みとともにトレーニング可能な伝送遅延を組み込むことは、これらの時間的ダイナミクスを形成するのに不可欠である。 最近の手法では、精度とメモリ効率の観点からトレーニング遅延と重み付けの利点が示されているが、それらは離散時間、近似勾配、膜電位のような内部変数への完全なアクセスに依存している。 これにより、メモリ要求の増大とI/O帯域幅の要求により、ニューロモルフィックハードウェアの精度、効率、適合性が制限される。 これらの課題に対処するために、我々は、シナプス重みと遅延の両方の正確な損失勾配を計算する解析的イベントベース手法であるDelGradを提案する。 トレーニングプロセスにおける遅延の包含は、提案した形式主義の中に自然に現れ、時間次元でモデルの探索空間を豊かにする。 さらに、純粋にスパイクタイミングで接地されたDelGradでは、膜電位などの追加変数を追跡する必要がなくなる。 この重要な利点を示すために、我々はBrainScaleS-2ニューロモルフィックプラットフォームにおけるDelGradの機能と利点を、チップ・イン・ザ・ループ方式でSNNをトレーニングすることで示す。 ノイズの多い混合信号ハードウェア上でSNNに遅延を追加する際のメモリ効率と精度の利点を実験的に実証した。 さらに、これらの実験は、ノイズに対してネットワークを安定化させる遅延の可能性も明らかにしている。 DelGradは、ニューロモルフィックハードウェアの遅延でSNNをトレーニングする新しい方法を開く。

関連論文リスト

• Efficient Event-based Delay Learning in Spiking Neural Networks [0.1350479308585481]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わるエネルギー効率の高い代替手段として注目を集めている。 本研究では,EventPropProp形式に基づくSNNのための新しいイベントベーストレーニング手法を提案する。 提案手法は,現在最先端の遅延学習手法のメモリの半分以下を用いており,最大26倍高速であることを示す。
  論文  参考訳（メタデータ） (2025-01-13T13:44:34Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Hardware-aware training of models with synaptic delays for digital event-driven neuromorphic processors [1.3415700412919966]
  本稿では,高パフォーマンススパイキングニューラルネットワークモデル(SNN)を用いた,ディジタルニューロモルフィックハードウェアのトレーニングと展開のためのフレームワークを提案する。 トレーニングは、ネットワークサイズの関数として、シナプスウェイト精度やコア毎のパラメータの総数など、両方のプラットフォーム制約を考慮に入れている。 トレーニングされたモデルを、Intel LoihiとImec Senecaの2つのニューロモルフィックデジタルハードウェアプラットフォームで評価した。
  論文  参考訳（メタデータ） (2024-04-16T14:22:58Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware [50.380319968947035]
  近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。 文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。 フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。 LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
  論文  参考訳（メタデータ） (2022-05-30T14:30:45Z)
• EXODUS: Stable and Efficient Training of Spiking Neural Networks [0.0]
  エネルギー効率が最も重要である機械学習タスクでは、スパイキングニューラルネットワーク(SNN)が大きな注目を集めている。 ShresthaとOrchard [2018]による以前の作業では、SLAYERと呼ばれる効率的なGPU加速バックプロパゲーションアルゴリズムが採用されており、トレーニングの大幅なスピードアップを実現している。 我々はSLAYERを修正してEXODUSと呼ばれるアルゴリズムを設計し、ニューロンリセット機構を考慮し、インプリシット関数定理(IFT)を適用して正しい勾配を計算する。
  論文  参考訳（メタデータ） (2022-05-20T15:13:58Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Axonal Delay As a Short-Term Memory for Feed Forward Deep Spiking Neural Networks [3.985532502580783]
  近年の研究では、学習過程において神経細胞の時間遅延が重要な役割を担っていることが判明している。 スパイクの正確なタイミングを設定することは、SNNにおける時間情報の伝達過程を理解し改善するための有望な方向である。 本稿では,教師付き学習に時間遅延を統合することの有効性を検証するとともに,短期記憶による軸索遅延を変調するモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-20T16:56:42Z)
• Ultra-low Latency Spiking Neural Networks with Spatio-Temporal Compression and Synaptic Convolutional Block [4.081968050250324]
  スパイキングニューラルネットワーク(SNN)は、神経時間情報能力、低処理機能、高い生物学的妥当性を有する。 Neuro-MNIST、CIFAR10-S、DVS128ジェスチャデータセットは、個々のイベントをフレームに集約し、イベントストリーム分類の時間分解能を高める必要がある。 本研究では,NIST電流の時間ステップに個々のイベントを集約し,トレーニングや推論の遅延を低減する処理時間圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-03-18T15:14:13Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。