論文の概要: Temporal Contrastive Learning for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2305.13909v1
• Date: Tue, 23 May 2023 10:31:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 17:09:43.781168
• Title: Temporal Contrastive Learning for Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークのための時間的コントラスト学習
• Authors: Haonan Qiu, Zeyin Song, Yanqi Chen, Munan Ning, Wei Fang, Tao Sun, Zhengyu Ma, Li Yuan, and Yonghong Tian
• Abstract要約: 生物学的にインスパイアされたニューラルネットワーク(SNN)は、低エネルギー消費と時間的情報処理能力のためにかなりの注目を集めている。 本稿では、時間領域情報にコントラスト的監督を組み込むことにより、低レイテンシで高性能なSNNを得る新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 23.963069990569714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biologically inspired spiking neural networks (SNNs) have garnered considerable attention due to their low-energy consumption and spatio-temporal information processing capabilities. Most existing SNNs training methods first integrate output information across time steps, then adopt the cross-entropy (CE) loss to supervise the prediction of the average representations. However, in this work, we find the method above is not ideal for the SNNs training as it omits the temporal dynamics of SNNs and degrades the performance quickly with the decrease of inference time steps. One tempting method to model temporal correlations is to apply the same label supervision at each time step and treat them identically. Although it can acquire relatively consistent performance across various time steps, it still faces challenges in obtaining SNNs with high performance. Inspired by these observations, we propose Temporal-domain supervised Contrastive Learning (TCL) framework, a novel method to obtain SNNs with low latency and high performance by incorporating contrastive supervision with temporal domain information. Contrastive learning (CL) prompts the network to discern both consistency and variability in the representation space, enabling it to better learn discriminative and generalizable features. We extend this concept to the temporal domain of SNNs, allowing us to flexibly and fully leverage the correlation between representations at different time steps. Furthermore, we propose a Siamese Temporal-domain supervised Contrastive Learning (STCL) framework to enhance the SNNs via augmentation, temporal and class constraints simultaneously. Extensive experimental results demonstrate that SNNs trained by our TCL and STCL can achieve both high performance and low latency, achieving state-of-the-art performance on a variety of datasets (e.g., CIFAR-10, CIFAR-100, and DVS-CIFAR10).
• Abstract（参考訳）: 生物学的にインスパイアされたスパイクニューラルネットワーク(SNN)は、低エネルギー消費と時空間情報処理能力のためにかなりの注目を集めている。 既存のSNNのトレーニング手法の多くは、まず時間ステップにまたがって出力情報を統合し、次に平均表現の予測を監督するためにクロスエントロピー(CE)損失を採用する。 しかし,本研究では,SNNの時間的ダイナミクスを省略し,推論時間ステップの減少とともに性能を低下させるため,上記の手法はSNNのトレーニングに最適ではない。 時間相関をモデル化するための一つの誘惑は、それぞれの時間ステップで同じラベルの監督を適用し、それらを同一に扱うことである。 様々な時間ステップで比較的一貫したパフォーマンスを得ることができるが、高いパフォーマンスでSNNを得るには依然として課題に直面している。 これらの観測から着想を得て,時間的ドメイン情報とコントラスト的ドメイン情報を組み合わせることで,低レイテンシで高性能なSNNを得る新しい手法であるTCLフレームワークを提案する。 コントラスト学習(CL)は、ネットワークに表現空間における一貫性と可変性を区別させ、識別性と一般化可能な特徴をよりよく学習させる。 我々はこの概念をSNNの時間領域に拡張し、異なる時間ステップにおける表現間の相関を柔軟に完全に活用する。 さらに,SNNの強化,時間的制約,クラス制約を同時に行うための,シームズ・テンポラルドメイン型コントラスト学習(STCL)フレームワークを提案する。 広範な実験結果から,tclとstclでトレーニングされたsnsは,高パフォーマンスと低レイテンシの両方を実現し,さまざまなデータセット(cifar-10,cifar-100,dvs-cifar10など)で最先端のパフォーマンスを達成できることが示されました。

関連論文リスト

• Enhancing SNN-based Spatio-Temporal Learning: A Benchmark Dataset and Cross-Modality Attention Model [30.66645039322337]
  高品質なベンチマークデータセットは、ニューラルネットワーク(SNN)の発展に非常に重要である しかし、SNNベースのクロスモーダル融合はまだ未定である。 本研究では,SNNの時間的特性をよりよく活用できるニューロモルフィックデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-21T06:59:04Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
  スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。 SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。 本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T16:23:50Z)
• Temporal Knowledge Sharing enable Spiking Neural Network Learning from Past and Future [7.300220260073691]
  スパイキングニューラルネットワーク(SNN)は、脳に似た情報処理機構のために、様々な領域の研究者から大きな注目を集めている。 しかしながら、SNNは通常、拡張時間ステップ、低時間情報利用、テストとトレーニングの間の一貫した時間ステップの必要性といった課題に悩まされる。 本稿では,SNNを時間的集約モデルとみなす新しい視点を提案する。 時間的知識共有(TKS)手法を導入し、異なる時間点間の情報交換を容易にする。
  論文  参考訳（メタデータ） (2023-04-13T13:51:26Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。