論文の概要: Learning Delays Through Gradients and Structure: Emergence of Spatiotemporal Patterns in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2407.18917v2
• Date: Fri, 08 Nov 2024 17:52:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:52:55.431338
• Title: Learning Delays Through Gradients and Structure: Emergence of Spatiotemporal Patterns in Spiking Neural Networks
• Title（参考訳）: 勾配と構造を通して遅延を学習する:スパイクニューラルネットワークにおける時空間パターンの出現
• Authors: Balázs Mészáros, James Knight, Thomas Nowotny,
• Abstract要約: 学習可能なシナプス遅延を2つのアプローチで組み込んだスパイキングニューラルネットワーク(SNN)モデルを提案する。 後者のアプローチでは、ネットワークは接続を選択してプーンし、スパース接続設定の遅延を最適化する。 本研究では,時間的データ処理のための効率的なSNNモデルを構築するために,遅延学習と動的プルーニングを組み合わせる可能性を示す。
• 参考スコア（独自算出の注目度）: 0.06752396542927405
• License:
• Abstract: We present a Spiking Neural Network (SNN) model that incorporates learnable synaptic delays through two approaches: per-synapse delay learning via Dilated Convolutions with Learnable Spacings (DCLS) and a dynamic pruning strategy that also serves as a form of delay learning. In the latter approach, the network dynamically selects and prunes connections, optimizing the delays in sparse connectivity settings. We evaluate both approaches on the Raw Heidelberg Digits keyword spotting benchmark using Backpropagation Through Time with surrogate gradients. Our analysis of the spatio-temporal structure of synaptic interactions reveals that, after training, excitation and inhibition group together in space and time. Notably, the dynamic pruning approach, which employs DEEP R for connection removal and RigL for reconnection, not only preserves these spatio-temporal patterns but outperforms per-synapse delay learning in sparse networks. Our results demonstrate the potential of combining delay learning with dynamic pruning to develop efficient SNN models for temporal data processing. Moreover, the preservation of spatio-temporal dynamics throughout pruning and rewiring highlights the robustness of these features, providing a solid foundation for future neuromorphic computing applications.
• Abstract（参考訳）: 本稿では,学習可能なシナプス遅延を,Dilated Convolutions with Learnable Spacings (DCLS)によるシナプス毎遅延学習(per-synapse delay learning)と,遅延学習の一形態として機能する動的プルーニング戦略の2つのアプローチにより組み込んだスパイキングニューラルネットワーク(SNN)モデルを提案する。 後者のアプローチでは、ネットワークは動的に接続を選択してプーンし、スパース接続設定の遅延を最適化する。 我々は,Raw Heidelberg Digitsキーワードスポッティングベンチマークにおいて,Surrogateグラデーションを用いたBackpropagation Through Timeを用いて両方のアプローチを評価する。 シナプス相互作用の時空間構造を解析した結果, 訓練後, 励起, 抑制群が空間的, 時間的に一緒になることが明らかとなった。 特に、接続除去にDEEP R、再接続にRigLを用いる動的プルーニングアプローチは、これらの時空間パターンを保存するだけでなく、スパースネットワークにおけるシナプス毎遅延学習よりも優れる。 本研究では,時間的データ処理のための効率的なSNNモデルを構築するために,遅延学習と動的プルーニングを組み合わせる可能性を示す。 さらに、刈り取りと切り換えによる時空間的ダイナミクスの保存は、これらの特徴の堅牢性を強調し、将来のニューロモルフィックコンピューティングアプリケーションのための確かな基盤を提供する。

関連論文リスト

• ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks [1.5931140598271163]
  局所的な常時オンおよび位相自由可塑性のみを用いて,効率的な学習シーケンスのモデルを構築した。 鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに関してその柔軟性を実証する。
  論文  参考訳（メタデータ） (2024-02-26T17:30:34Z)
• TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential Modelling [54.97005925277638]
  潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。 SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。 そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-25T08:54:41Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Brain-Inspired Spiking Neural Network for Online Unsupervised Time Series Prediction [13.521272923545409]
  連続学習に基づく非教師付きリカレントスパイキングニューラルネットワークモデル(CLURSNN)を提案する。 CLURSNNは、ランダム遅延埋め込み(Random Delay Embedding)を使用して基盤となる動的システムを再構築することで、オンライン予測を行う。 提案手法は,進化するロレンツ63力学系を予測する際に,最先端のDNNモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-10T16:18:37Z)
• Axonal Delay As a Short-Term Memory for Feed Forward Deep Spiking Neural Networks [3.985532502580783]
  近年の研究では、学習過程において神経細胞の時間遅延が重要な役割を担っていることが判明している。 スパイクの正確なタイミングを設定することは、SNNにおける時間情報の伝達過程を理解し改善するための有望な方向である。 本稿では,教師付き学習に時間遅延を統合することの有効性を検証するとともに,短期記憶による軸索遅延を変調するモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-20T16:56:42Z)
• Simulating Network Paths with Recurrent Buffering Units [4.7590500506853415]
  我々は,送信者が提供する時間変化負荷に応じて,エンドツーエンドのパケット遅延値を生成するモデルを求める。 本稿では,リカレントバッファリングユニット(Recurrent Buffering Unit)と呼ばれる新しいRNNスタイルのアーキテクチャに物理ネットワークパスの意味を埋め込む,ネットワークシミュレーションのための新しいグレーボックスアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-23T16:46:31Z)
• An optimised deep spiking neural network architecture without gradients [7.183775638408429]
  本稿では、局所シナプスおよびしきい値適応ルールを用いたエンドツーエンドのトレーニング可能なモジュラーイベント駆動ニューラルアーキテクチャを提案する。 このアーキテクチャは、既存のスパイキングニューラルネットワーク(SNN)アーキテクチャの高度に抽象化されたモデルを表している。
  論文  参考訳（メタデータ） (2021-09-27T05:59:12Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。