論文の概要: Learning Delays in Spiking Neural Networks using Dilated Convolutions with Learnable Spacings

• arxiv url: http://arxiv.org/abs/2306.17670v1
• Date: Fri, 30 Jun 2023 14:01:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 12:16:45.355562
• Title: Learning Delays in Spiking Neural Networks using Dilated Convolutions with Learnable Spacings
• Title（参考訳）: 学習可能な空間を持つ拡張畳み込みを用いたスパイクニューラルネットワークの学習遅延
• Authors: Ilyass Hammouamri, Ismail Khalfaoui-Hassani, Timoth\'ee Masquelier
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、電力効率の高い情報処理システムを構築する上で有望な研究方向である。 SNNでは、1つのスパイクが1つのニューロンから別のニューロンに移動するのに必要な時間を指す。 塑性遅延がSNNの表現性を大幅に向上させることが理論的に示されている。 本稿では,この問題をバックプロパゲーションを用いたディープフィードフォワードSNNで処理する離散時間アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) are a promising research direction for building power-efficient information processing systems, especially for temporal tasks such as speech recognition. In SNNs, delays refer to the time needed for one spike to travel from one neuron to another. These delays matter because they influence the spike arrival times, and it is well-known that spiking neurons respond more strongly to coincident input spikes. More formally, it has been shown theoretically that plastic delays greatly increase the expressivity in SNNs. Yet, efficient algorithms to learn these delays have been lacking. Here, we propose a new discrete-time algorithm that addresses this issue in deep feedforward SNNs using backpropagation, in an offline manner. To simulate delays between consecutive layers, we use 1D convolutions across time. The kernels contain only a few non-zero weights - one per synapse - whose positions correspond to the delays. These positions are learned together with the weights using the recently proposed Dilated Convolution with Learnable Spacings (DCLS). We evaluated our method on the Spiking Heidelberg Dataset (SHD) and the Spiking Speech Commands (SSC) benchmarks, which require detecting temporal patterns. We used feedforward SNNs with two hidden fully connected layers. We showed that fixed random delays help, and that learning them helps even more. Furthermore, our method outperformed the state-of-the-art in both SHD and SSC without using recurrent connections and with substantially fewer parameters. Our work demonstrates the potential of delay learning in developing accurate and precise models for temporal data processing. Our code is based on PyTorch / SpikingJelly and available at: https://github.com/Thvnvtos/SNN-delays
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、特に音声認識などの時間的タスクにおいて、電力効率の高い情報処理システムを構築するための有望な研究方向である。 SNNでは、1つのスパイクが1つのニューロンから別のニューロンに移動するのに必要な時間を指す。 これらの遅延はスパイク到着時間に影響を与えるため重要であり、スパイクニューロンが一致した入力スパイクに強く反応することが知られている。 より正式には、プラスチックの遅延がSNNの表現性を大幅に増大させることが理論的に示されている。 しかし、これらの遅延を学習する効率的なアルゴリズムは不足している。 本稿では,バックプロパゲーションを用いたディープフィードフォワードsnsでこの問題をオフラインで解決する,新しい離散時間アルゴリズムを提案する。 連続する層間の遅延をシミュレートするために、1次元の畳み込みを用いる。 カーネルは数個の非ゼロ重み(シナプスあたり1つ)しか含んでおらず、その位置は遅延に対応する。 これらの位置は、最近提案されたDilated Convolution with Learnable Spacings (DCLS)を使って重みとともに学習される。 我々は、時相パターンを検出する必要があるスパイキングハイデルバーグデータセット(SHD)とスパイキング音声コマンド(SSC)ベンチマークについて評価を行った。 完全連結層を2層に隠したフィードフォワードSNNを用いた。 固定されたランダム遅延が役に立ち、それらを学ぶことがさらに役立ちます。 さらに,SHDおよびSSCでは,繰り返し接続を用いることなく,パラメータが少なく,最先端の手法よりも優れていた。 本研究では,時間的データ処理の正確かつ正確なモデル開発における遅延学習の可能性を示す。 私たちのコードはPyTorch / SpikingJellyをベースにしており、https://github.com/Thvnvtos/SNN-delaysで利用可能です。

関連論文リスト

• Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
  スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。 本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
  論文  参考訳（メタデータ） (2024-05-27T05:53:30Z)
• DelGrad: Exact gradients in spiking networks for learning transmission delays and weights [0.9411751957919126]
  スパイキングニューラルネットワーク(SNN)は本質的には情報表現と処理のための信号のタイミングに依存している。 最近の研究は、これらの遅延とシナプス重みを学習する大きな利点を示している。 イベントベース方式で, シナプス重みと遅延の両方に関して, 正確な損失勾配を計算するための解析的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-30T00:02:34Z)
• S3TC: Spiking Separated Spatial and Temporal Convolutions with Unsupervised STDP-based Learning for Action Recognition [1.2123876307427106]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で実装される場合、通常の非スパイキングネットワークよりも計算コスト(数倍)が著しく低い。 本稿では,ビデオ解析に必要なパラメータ数を削減すべく,S3TC(Spike Separated Space and Temporal Convolutions)を初めて紹介する。
  論文  参考訳（メタデータ） (2023-09-22T10:05:35Z)
• Co-learning synaptic delays, weights and adaptation in spiking neural networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。 スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
  論文  参考訳（メタデータ） (2023-09-12T09:13:26Z)
• Adaptive Axonal Delays in feedforward spiking neural networks for accurate spoken word recognition [4.018601183900039]
  スパイキングニューラルネットワーク(SNN)は、正確で効率的な自動音声認識システムを構築するための有望な研究手段である。 近年のオーディオ・ツー・スパイク符号化とトレーニングアルゴリズムの進歩により、SNNを実践的なタスクに適用することが可能になった。 本研究は,複雑な時間構造をもつタスクに対して,軸索遅延を訓練する可能性を示す。
  論文  参考訳（メタデータ） (2023-02-16T22:19:04Z)
• Timing-Based Backpropagation in Spiking Neural Networks Without Single-Spike Restrictions [2.8360662552057323]
  スパイキングニューラルネットワーク(SNN)のトレーニングのための新しいバックプロパゲーションアルゴリズムを提案する。 シングルスパイク制限なしで、個々のニューロンの相対多重スパイクタイミングに情報をエンコードする。
  論文  参考訳（メタデータ） (2022-11-29T11:38:33Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。