論文の概要: Temporal Knowledge Sharing enable Spiking Neural Network Learning from
Past and Future
- arxiv url: http://arxiv.org/abs/2304.06540v2
- Date: Mon, 23 Oct 2023 04:31:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 13:05:33.140096
- Title: Temporal Knowledge Sharing enable Spiking Neural Network Learning from
Past and Future
- Title（参考訳）: 時間的知識共有による過去と未来からのニューラルネットワーク学習の実現
- Authors: Yiting Dong, Dongcheng Zhao, Yi Zeng
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、脳に似た情報処理機構のために、様々な領域の研究者から大きな注目を集めている。
しかしながら、SNNは通常、拡張時間ステップ、低時間情報利用、テストとトレーニングの間の一貫した時間ステップの必要性といった課題に悩まされる。
本稿では,SNNを時間的集約モデルとみなす新しい視点を提案する。
時間的知識共有(TKS)手法を導入し、異なる時間点間の情報交換を容易にする。
- 参考スコア（独自算出の注目度）: 7.300220260073691
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking Neural Networks (SNNs) have attracted significant attention from
researchers across various domains due to their brain-like information
processing mechanism. However, SNNs typically grapple with challenges such as
extended time steps, low temporal information utilization, and the requirement
for consistent time step between testing and training. These challenges render
SNNs with high latency. Moreover, the constraint on time steps necessitates the
retraining of the model for new deployments, reducing adaptability. To address
these issues, this paper proposes a novel perspective, viewing the SNN as a
temporal aggregation model. We introduce the Temporal Knowledge Sharing (TKS)
method, facilitating information interact between different time points. TKS
can be perceived as a form of temporal self-distillation. To validate the
efficacy of TKS in information processing, we tested it on static datasets like
CIFAR10, CIFAR100, ImageNet-1k, and neuromorphic datasets such as DVS-CIFAR10
and NCALTECH101. Experimental results demonstrate that our method achieves
state-of-the-art performance compared to other algorithms. Furthermore, TKS
addresses the temporal consistency challenge, endowing the model with superior
temporal generalization capabilities. This allows the network to train with
longer time steps and maintain high performance during testing with shorter
time steps. Such an approach considerably accelerates the deployment of SNNs on
edge devices. Finally, we conducted ablation experiments and tested TKS on
fine-grained tasks, with results showcasing TKS's enhanced capability to
process information efficiently.
- Abstract（参考訳）: スパイキングニューラルネットワーク(snn)は、脳のような情報処理機構のため、様々な領域の研究者から注目されている。
しかしながら、SNNは通常、拡張時間ステップ、低時間情報利用、テストとトレーニングの間の一貫した時間ステップの必要性といった課題に悩まされる。
これらの課題は、SNNを高いレイテンシでレンダリングする。
さらに、時間ステップの制約は、新しいデプロイメントのためのモデルの再トレーニングを必要とし、適応性を低減する。
これらの問題に対処するため,本稿では,snを時間集約モデルとして見る新しい視点を提案する。
時間的知識共有(TKS)手法を導入し、異なる時間点間の情報交換を容易にする。
tkは時間的自己蒸留の一種と見なすことができる。
CIFAR10, CIFAR100, ImageNet-1kなどの静的データセットとDVS-CIFAR10, NCALTECH101などのニューロモルフィックデータセットでTKSの有効性を検証する。
実験により,本手法が他のアルゴリズムと比較して最先端性能を実現することを示す。
さらに、TKSは時間的整合性の問題に対処し、時間的一般化能力に優れたモデルを提供する。
これにより、ネットワークは長い時間ステップでトレーニングでき、短い時間ステップでテスト中に高いパフォーマンスを維持することができる。
このようなアプローチにより、エッジデバイスへのSNNのデプロイが大幅に加速する。
最後に,細粒度タスクにおけるアブレーション実験とTKS試験を行い,TKSの高機能化による情報処理の効率化を実証した。
関連論文リスト
- Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-02T16:23:50Z) - TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential
Modelling [54.97005925277638]
潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。
SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。
そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
論文 参考訳（メタデータ） (2023-08-25T08:54:41Z) - Temporal Contrastive Learning for Spiking Neural Networks [23.963069990569714]
生物学的にインスパイアされたニューラルネットワーク(SNN)は、低エネルギー消費と時間的情報処理能力のためにかなりの注目を集めている。
本稿では、時間領域情報にコントラスト的監督を組み込むことにより、低レイテンシで高性能なSNNを得る新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-23T10:31:46Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Backpropagation with Biologically Plausible Spatio-Temporal Adjustment
For Training Deep Spiking Neural Networks [5.484391472233163]
ディープラーニングの成功は、バックプロパゲーションとは分離できない。
本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。
次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
論文 参考訳（メタデータ） (2021-10-17T15:55:51Z) - A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。
その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
論文 参考訳（メタデータ） (2020-12-03T08:32:01Z) - Revisiting Batch Normalization for Training Low-latency Deep Spiking
Neural Networks from Scratch [5.511606249429581]
ディープラーニングの代替手段としてスパイキングニューラルネットワーク(SNN)が登場している。
スクラッチからの高精度で低遅延のSNNは、スパイキングニューロンの非分化性の性質に悩まされる。
本稿では、時間的SNNのトレーニングのための時間的バッチ正規化(BNTT)手法を提案する。
論文 参考訳（メタデータ） (2020-10-05T00:49:30Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。