論文の概要: Temporal Knowledge Sharing enable Spiking Neural Network Learning from
Past and Future
- arxiv url: http://arxiv.org/abs/2304.06540v1
- Date: Thu, 13 Apr 2023 13:51:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-14 14:16:11.540490
- Title: Temporal Knowledge Sharing enable Spiking Neural Network Learning from
Past and Future
- Title（参考訳）: 時間的知識共有による過去と未来からのニューラルネットワーク学習の実現
- Authors: Yiting Dong, Dongcheng Zhao, Yi Zeng
- Abstract要約: スパイクニューラルネットワークは、脳に似た情報処理機構のために、多くの分野の研究者から大きな注目を集めている。
本稿では、異なるモーメント間の情報交換を可能にする時間的知識共有手法(TKS)を提案する。
- 参考スコア（独自算出の注目度）: 7.067247930901556
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking neural networks have attracted extensive attention from researchers
in many fields due to their brain-like information processing mechanism. The
proposal of surrogate gradient enables the spiking neural networks to migrate
to more complex tasks, and gradually close the gap with the conventional
artificial neural networks. Current spiking neural networks utilize the output
of all moments to produce the final prediction, which compromises their
temporal characteristics and causes a reduction in performance and efficiency.
We propose a temporal knowledge sharing approach (TKS) that enables the
interaction of information between different moments, by selecting the output
of specific moments to compose teacher signals to guide the training of the
network along with the real labels. We have validated TKS on both static
datasets CIFAR10, CIFAR100, ImageNet-1k and neuromorphic datasets DVS-CIFAR10,
NCALTECH101. Our experimental results indicate that we have achieved the
current optimal performance in comparison with other algorithms. Experiments on
Fine-grained classification datasets further demonstrate our algorithm's
superiority with CUB-200-2011, StanfordDogs, and StanfordCars. TKS algorithm
helps the model to have stronger temporal generalization capability, allowing
the network to guarantee performance with large time steps in the training
phase and with small time steps in the testing phase. This greatly facilitates
the deployment of SNNs on edge devices.
- Abstract（参考訳）: スパイキングニューラルネットワークは、脳のような情報処理機構のため、多くの分野の研究者から広く注目を集めている。
サーロゲート勾配の提案により、スパイクニューラルネットワークはより複雑なタスクに移行でき、従来のニューラルネットワークとのギャップを徐々に縮めることができる。
現在のスパイクニューラルネットワークは、全てのモーメントの出力を利用して最終的な予測を生成し、その時間的特性を損なうとともに、性能と効率の低下を引き起こす。
教師信号を構成する特定のモーメントの出力を選択し、実際のラベルと共にネットワークのトレーニングを導くことにより、異なるモーメント間の情報のインタラクションを可能にする時間的知識共有手法(tks)を提案する。
静的データセットCIFAR10, CIFAR100, ImageNet-1kおよびニューロモルフィックデータセットDVS-CIFAR10, NCALTECH101上でTKSを検証する。
実験結果から,現在の最適性能を他のアルゴリズムと比較した結果が得られた。
CUB-200-2011、StanfordDogs、StanfordCarsによる詳細な分類データセットの実験は、アルゴリズムの優位性をさらに証明している。
TKSアルゴリズムは、トレーニングフェーズにおける大きな時間ステップとテストフェーズにおける小さな時間ステップで、ネットワークのパフォーマンスを保証するために、時間的一般化能力の強化を支援する。
これにより、エッジデバイスへのSNNのデプロイが大幅に容易になる。
関連論文リスト
- Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-02T16:23:50Z) - TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential
Modelling [54.97005925277638]
潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。
SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。
そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
論文 参考訳（メタデータ） (2023-08-25T08:54:41Z) - Temporal Contrastive Learning for Spiking Neural Networks [23.963069990569714]
生物学的にインスパイアされたニューラルネットワーク(SNN)は、低エネルギー消費と時間的情報処理能力のためにかなりの注目を集めている。
本稿では、時間領域情報にコントラスト的監督を組み込むことにより、低レイテンシで高性能なSNNを得る新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-23T10:31:46Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Backpropagation with Biologically Plausible Spatio-Temporal Adjustment
For Training Deep Spiking Neural Networks [5.484391472233163]
ディープラーニングの成功は、バックプロパゲーションとは分離できない。
本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。
次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
論文 参考訳（メタデータ） (2021-10-17T15:55:51Z) - A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。
その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
論文 参考訳（メタデータ） (2020-12-03T08:32:01Z) - Revisiting Batch Normalization for Training Low-latency Deep Spiking
Neural Networks from Scratch [5.511606249429581]
ディープラーニングの代替手段としてスパイキングニューラルネットワーク(SNN)が登場している。
スクラッチからの高精度で低遅延のSNNは、スパイキングニューロンの非分化性の性質に悩まされる。
本稿では、時間的SNNのトレーニングのための時間的バッチ正規化(BNTT)手法を提案する。
論文 参考訳（メタデータ） (2020-10-05T00:49:30Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。