論文の概要: NeuroMoCo: A Neuromorphic Momentum Contrast Learning Method for Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2406.06305v1
- Date: Mon, 10 Jun 2024 14:20:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 13:48:15.991072
- Title: NeuroMoCo: A Neuromorphic Momentum Contrast Learning Method for Spiking Neural Networks
- Title（参考訳）: NeuroMoCo: スパイクニューラルネットワークのためのニューロモルファスモーメントコントラスト学習法
- Authors: Yuqi Ma, Huamin Wang, Hangchi Shen, Xuemei Chen, Shukai Duan, Shiping Wen,
- Abstract要約: 本稿では脳誘発スパイキングニューラルネットワーク(SNN)のためのニューロモルフィック・モーメント・コントラスト学習(NeuroMoCo)を紹介する。
SNNにおいて、モーメントコントラスト学習に基づく自己教師型学習(SSL)が実現されたのはこれが初めてである。
DVS-CI10、DVS128Gesture、N-Caltech101の実験は、NeuroMoCoが新しい最先端(SOTA)ベンチマークを確立することを示した。
- 参考スコア（独自算出の注目度）: 18.038225756466844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, brain-inspired spiking neural networks (SNNs) have attracted great research attention owing to their inherent bio-interpretability, event-triggered properties and powerful perception of spatiotemporal information, which is beneficial to handling event-based neuromorphic datasets. In contrast to conventional static image datasets, event-based neuromorphic datasets present heightened complexity in feature extraction due to their distinctive time series and sparsity characteristics, which influences their classification accuracy. To overcome this challenge, a novel approach termed Neuromorphic Momentum Contrast Learning (NeuroMoCo) for SNNs is introduced in this paper by extending the benefits of self-supervised pre-training to SNNs to effectively stimulate their potential. This is the first time that self-supervised learning (SSL) based on momentum contrastive learning is realized in SNNs. In addition, we devise a novel loss function named MixInfoNCE tailored to their temporal characteristics to further increase the classification accuracy of neuromorphic datasets, which is verified through rigorous ablation experiments. Finally, experiments on DVS-CIFAR10, DVS128Gesture and N-Caltech101 have shown that NeuroMoCo of this paper establishes new state-of-the-art (SOTA) benchmarks: 83.6% (Spikformer-2-256), 98.62% (Spikformer-2-256), and 84.4% (SEW-ResNet-18), respectively.
- Abstract（参考訳）: 近年、脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、その固有の生体解釈性、事象トリガー特性、時空間情報の強力な知覚など、イベントベースのニューロモルフィックデータセットを扱うのに有益な研究の注目を集めている。
従来の静的画像データセットとは対照的に、イベントベースのニューロモルフィックデータセットは、特徴的時系列と空間特性により特徴抽出の複雑さが高くなり、分類精度に影響を及ぼす。
この課題を克服するために,SNNに対するニューロモーフィック・モメンタム・コントラスト・ラーニング(NeuroMoCo)と呼ばれる新しいアプローチを導入する。
SNNにおいて、モーメントコントラスト学習に基づく自己教師型学習(SSL)が実現されたのはこれが初めてである。
さらに,神経形データセットの分類精度をさらに高めるため,その時間的特性に合わせてMixInfoNCEという新たな損失関数を考案し,厳密なアブレーション実験により検証した。
最後に、DVS-CIFAR10、DVS128Gesture、N-Caltech101の実験により、NeuroMoCoは、それぞれ83.6%(Spikformer-2-256)、98.62%(Spikformer-2-256)、84.4%(SEW-ResNet-18)という新しい最先端(SOTA)ベンチマークを確立した。
関連論文リスト
- Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳（メタデータ） (2024-09-19T06:52:34Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Transferability of coVariance Neural Networks and Application to
Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。
我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。
VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
論文 参考訳（メタデータ） (2023-05-02T22:15:54Z) - Modeling Associative Plasticity between Synapses to Enhance Learning of
Spiking Neural Networks [4.736525128377909]
Spiking Neural Networks(SNN)は、ニューラルネットワークの第3世代であり、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする。
本稿では,シナプス間の結合可塑性をモデル化し,頑健で効果的な学習機構を提案する。
本手法は静的および最先端のニューロモルフィックデータセット上での優れた性能を実現する。
論文 参考訳（メタデータ） (2022-07-24T06:12:23Z) - SIT: A Bionic and Non-Linear Neuron for Spiking Neural Network [12.237928453571636]
スパイキングニューラルネットワーク(SNN)は、時間的情報処理能力と消費電力の低さから、研究者の関心を喚起している。
現在の最先端の手法は、ニューロンが単純な Leaky-Integrate-and-Fire (LIF) モデルに基づいて構築されているため、生物学的な可視性と性能を制限している。
高レベルの動的複雑さのため、現代のニューロンモデルがSNNの実践で実装されることはめったにない。
論文 参考訳（メタデータ） (2022-03-30T07:50:44Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - N-Omniglot: a Large-scale Neuromorphic Dataset for Spatio-Temporal
Sparse Few-shot Learning [10.812738608234321]
我々は、Dynamic Vision Sensor (DVS)を用いて、最初のニューロモルフィックデータセット、N-Omniglotを提供する。
1623種類の手書き文字が含まれており、クラスごとに20のサンプルしか持たない。
このデータセットは、数ショットの学習領域でSNNアルゴリズムを開発するための強力なチャレンジと適切なベンチマークを提供する。
論文 参考訳（メタデータ） (2021-12-25T12:41:34Z) - BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and
Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。
適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。
MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
論文 参考訳（メタデータ） (2021-05-27T08:38:31Z) - Comparing SNNs and RNNs on Neuromorphic Vision Datasets: Similarities
and Differences [36.82069150045153]
スパイキングニューラルネットワーク(SNN)とリカレントニューラルネットワーク(RNN)は、ニューロモルフィックデータに基づいてベンチマークされる。
本研究では,SNNとRNNをニューロモルフィックデータと比較するための系統的研究を行う。
論文 参考訳（メタデータ） (2020-05-02T10:19:37Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。