論文の概要: Zero-Shot Temporal Resolution Domain Adaptation for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2411.04760v1
- Date: Thu, 07 Nov 2024 14:58:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-08 19:37:55.143776
- Title: Zero-Shot Temporal Resolution Domain Adaptation for Spiking Neural Networks
- Title（参考訳）: スパイクニューラルネットワークのためのゼロショット時間分解能領域適応
- Authors: Sanja Karilanova, Maxime Fabre, Emre Neftci, Ayça Özçelikkale,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたディープニューラルネットワークであり、時間的情報を効率的に抽出する。
SNNモデルパラメータは時間分解能に敏感であり、エッジでのターゲットデータの時間分解能が同じでない場合、大幅な性能低下を引き起こす。
本稿では,ニューロンパラメータを適応させる3つの新しい領域適応手法を提案する。
- 参考スコア（独自算出の注目度）: 3.2366933261812076
- License:
- Abstract: Spiking Neural Networks (SNNs) are biologically-inspired deep neural networks that efficiently extract temporal information while offering promising gains in terms of energy efficiency and latency when deployed on neuromorphic devices. However, SNN model parameters are sensitive to temporal resolution, leading to significant performance drops when the temporal resolution of target data at the edge is not the same with that of the pre-deployment source data used for training, especially when fine-tuning is not possible at the edge. To address this challenge, we propose three novel domain adaptation methods for adapting neuron parameters to account for the change in time resolution without re-training on target time-resolution. The proposed methods are based on a mapping between neuron dynamics in SNNs and State Space Models (SSMs); and are applicable to general neuron models. We evaluate the proposed methods under spatio-temporal data tasks, namely the audio keyword spotting datasets SHD and MSWC as well as the image classification NMINST dataset. Our methods provide an alternative to - and in majority of the cases significantly outperform - the existing reference method that simply scales the time constant. Moreover, our results show that high accuracy on high temporal resolution data can be obtained by time efficient training on lower temporal resolution data and model adaptation.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたディープニューラルネットワークで、時間的情報を効率的に抽出し、ニューロモルフィックデバイスにデプロイする際のエネルギー効率とレイテンシの面で有望なゲインを提供する。
しかし、SNNモデルパラメータは時間分解能に敏感であり、特にエッジでの微調整が不可能な場合、エッジでのターゲットデータの時間分解能がトレーニングに使用される事前デプロイソースデータと変わらない場合、大幅な性能低下をもたらす。
そこで本研究では,ニューロンパラメータを適応させて時間分解能の変化を考慮し,目標時間分解能を再学習する3つの新しい領域適応手法を提案する。
提案手法は、SNNにおけるニューロンダイナミクスと状態空間モデル(SSM)のマッピングに基づいており、一般的なニューロンモデルに適用可能である。
我々は、時空間データタスク、すなわち音声キーワードスポッティングデータセットSHDとMSWC、および画像分類NMINSTデータセットに基づいて提案手法を評価する。
私たちのメソッドは、時間定数を単純にスケールする既存の参照メソッドよりもはるかに優れています。
さらに,低時間分解能データに対する時間効率トレーニングとモデル適応により,高時間分解能データに対する高い精度が得られることを示した。
関連論文リスト
- Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - EAS-SNN: End-to-End Adaptive Sampling and Representation for Event-based Detection with Recurrent Spiking Neural Networks [14.046487518350792]
スパイキングニューラルネットワーク(SNN)は、スパーススパイク通信を通じてイベント駆動の操作を行う。
本稿では,Residual potential Dropout (RPD) と Spike-Aware Training (SAT) を導入する。
我々の方法では、Gen1データセットで4.4%のmAP改善が得られ、パラメータは38%減少し、3つのタイムステップしか必要としない。
論文 参考訳（メタデータ） (2024-03-19T09:34:11Z) - Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-02T16:23:50Z) - Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking
Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。
スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。
実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
論文 参考訳（メタデータ） (2022-09-21T21:17:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Axonal Delay As a Short-Term Memory for Feed Forward Deep Spiking Neural
Networks [3.985532502580783]
近年の研究では、学習過程において神経細胞の時間遅延が重要な役割を担っていることが判明している。
スパイクの正確なタイミングを設定することは、SNNにおける時間情報の伝達過程を理解し改善するための有望な方向である。
本稿では,教師付き学習に時間遅延を統合することの有効性を検証するとともに,短期記憶による軸索遅延を変調するモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-20T16:56:42Z) - Backpropagation with Biologically Plausible Spatio-Temporal Adjustment
For Training Deep Spiking Neural Networks [5.484391472233163]
ディープラーニングの成功は、バックプロパゲーションとは分離できない。
本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。
次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
論文 参考訳（メタデータ） (2021-10-17T15:55:51Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。