論文の概要: DelGrad: Exact gradients in spiking networks for learning transmission delays and weights
- arxiv url: http://arxiv.org/abs/2404.19165v1
- Date: Tue, 30 Apr 2024 00:02:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 15:53:21.654914
- Title: DelGrad: Exact gradients in spiking networks for learning transmission delays and weights
- Title（参考訳）: DelGrad: 送受信遅延と重みを学習するためのスパイキングネットワークの厳格な勾配
- Authors: Julian Göltz, Jimmy Weber, Laura Kriener, Peter Lake, Melika Payvand, Mihai A. Petrovici,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。
最近の研究は、これらの遅延とシナプス重みを学習する大きな利点を示している。
イベントベース方式で, シナプス重みと遅延の両方に関して, 正確な損失勾配を計算するための解析的アプローチを提案する。
- 参考スコア（独自算出の注目度）: 0.9411751957919126
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking neural networks (SNNs) inherently rely on the timing of signals for representing and processing information. Transmission delays play an important role in shaping these temporal characteristics. Recent work has demonstrated the substantial advantages of learning these delays along with synaptic weights, both in terms of accuracy and memory efficiency. However, these approaches suffer from drawbacks in terms of precision and efficiency, as they operate in discrete time and with approximate gradients, while also requiring membrane potential recordings for calculating parameter updates. To alleviate these issues, we propose an analytical approach for calculating exact loss gradients with respect to both synaptic weights and delays in an event-based fashion. The inclusion of delays emerges naturally within our proposed formalism, enriching the model's search space with a temporal dimension. Our algorithm is purely based on the timing of individual spikes and does not require access to other variables such as membrane potentials. We explicitly compare the impact on accuracy and parameter efficiency of different types of delays - axonal, dendritic and synaptic. Furthermore, while previous work on learnable delays in SNNs has been mostly confined to software simulations, we demonstrate the functionality and benefits of our approach on the BrainScaleS-2 neuromorphic platform.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。
伝送遅延は、これらの時間特性を形成する上で重要な役割を果たす。
最近の研究は、精度とメモリ効率の両面で、これらの遅延をシナプス重みと共に学習する大きな利点を示している。
しかし、これらの手法は、離散時間と近似勾配で動作し、パラメータ更新を計算するために膜電位記録を必要とするため、精度と効率の面で欠点に悩まされている。
これらの問題を緩和するために、イベントベース方式で、シナプス重みと遅延の両方に関して、正確な損失勾配を計算するための分析的アプローチを提案する。
遅延の包含は、提案した形式主義の中に自然に現れ、時間次元でモデルの探索空間を豊かにする。
我々のアルゴリズムは、個々のスパイクのタイミングに基づいており、膜電位などの他の変数へのアクセスを必要としない。
軸索,樹状突起,シナプスの異なる種類の遅延の精度とパラメータ効率への影響を明示的に比較する。
さらに、SNNの学習可能な遅延に関するこれまでの研究は、主にソフトウェアシミュレーションに限られていたが、我々はBrainScaleS-2ニューロモルフィックプラットフォームにおける我々のアプローチの機能と利点を実証した。
関連論文リスト
- Discovering Long-Term Effects on Parameter Efficient Fine-tuning [36.83255498301937]
事前訓練されたニューラルネットワーク(Annns)は、堅牢なパターン認識機能を示す。
アンとBNNはヒト脳、特にBNNと大きな類似点を共有している
アンは微調整によって新しい知識を得ることができる。
論文 参考訳（メタデータ） (2024-08-24T03:27:29Z) - Learning Delays Through Gradients and Structure: Emergence of Spatiotemporal Patterns in Spiking Neural Networks [0.06752396542927405]
学習可能なシナプス遅延を2つのアプローチで組み込んだスパイキングニューラルネットワーク(SNN)モデルを提案する。
後者のアプローチでは、ネットワークは接続を選択してプーンし、スパース接続設定の遅延を最適化する。
本研究では,時間的データ処理のための効率的なSNNモデルを構築するために,遅延学習と動的プルーニングを組み合わせる可能性を示す。
論文 参考訳（メタデータ） (2024-07-07T11:55:48Z) - Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。
本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
論文 参考訳（メタデータ） (2024-05-27T05:53:30Z) - Unveiling Delay Effects in Traffic Forecasting: A Perspective from
Spatial-Temporal Delay Differential Equations [20.174094418301245]
交通流予測は交通計画と管理の基本的な研究課題である。
近年,グラフニューラルネットワーク (GNN) とリカレントニューラルネットワーク (RNN) は交通流予測のための空間的時間的相関を捉えることに成功している。
1) GNNでのメッセージパッシングは即時であり、実際には近隣ノード間の空間的メッセージインタラクションは遅延する可能性がある。
論文 参考訳（メタデータ） (2024-02-02T08:55:23Z) - Accelerating Scalable Graph Neural Network Inference with Node-Adaptive
Propagation [80.227864832092]
グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。
大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。
本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
論文 参考訳（メタデータ） (2023-10-17T05:03:00Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。
既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。
本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
論文 参考訳（メタデータ） (2022-11-01T14:38:18Z) - Axonal Delay As a Short-Term Memory for Feed Forward Deep Spiking Neural
Networks [3.985532502580783]
近年の研究では、学習過程において神経細胞の時間遅延が重要な役割を担っていることが判明している。
スパイクの正確なタイミングを設定することは、SNNにおける時間情報の伝達過程を理解し改善するための有望な方向である。
本稿では,教師付き学習に時間遅延を統合することの有効性を検証するとともに,短期記憶による軸索遅延を変調するモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-20T16:56:42Z) - Backpropagation with Biologically Plausible Spatio-Temporal Adjustment
For Training Deep Spiking Neural Networks [5.484391472233163]
ディープラーニングの成功は、バックプロパゲーションとは分離できない。
本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。
次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
論文 参考訳（メタデータ） (2021-10-17T15:55:51Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。