論文の概要: Enhancing SNN-based Spatio-Temporal Learning: A Benchmark Dataset and Cross-Modality Attention Model

• arxiv url: http://arxiv.org/abs/2410.15689v1
• Date: Mon, 21 Oct 2024 06:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:22:36.382492
• Title: Enhancing SNN-based Spatio-Temporal Learning: A Benchmark Dataset and Cross-Modality Attention Model
• Title（参考訳）: SNNに基づく時空間学習の強化:ベンチマークデータセットとモード間アテンションモデル
• Authors: Shibo Zhou, Bo Yang, Mengwen Yuan, Runhao Jiang, Rui Yan, Gang Pan, Huajin Tang,
• Abstract要約: 高品質なベンチマークデータセットは、ニューラルネットワーク(SNN)の発展に非常に重要である しかし、SNNベースのクロスモーダル融合はまだ未定である。 本研究では,SNNの時間的特性をよりよく活用できるニューロモルフィックデータセットを提案する。
• 参考スコア（独自算出の注目度）: 30.66645039322337
• License:
• Abstract: Spiking Neural Networks (SNNs), renowned for their low power consumption, brain-inspired architecture, and spatio-temporal representation capabilities, have garnered considerable attention in recent years. Similar to Artificial Neural Networks (ANNs), high-quality benchmark datasets are of great importance to the advances of SNNs. However, our analysis indicates that many prevalent neuromorphic datasets lack strong temporal correlation, preventing SNNs from fully exploiting their spatio-temporal representation capabilities. Meanwhile, the integration of event and frame modalities offers more comprehensive visual spatio-temporal information. Yet, the SNN-based cross-modality fusion remains underexplored. In this work, we present a neuromorphic dataset called DVS-SLR that can better exploit the inherent spatio-temporal properties of SNNs. Compared to existing datasets, it offers advantages in terms of higher temporal correlation, larger scale, and more varied scenarios. In addition, our neuromorphic dataset contains corresponding frame data, which can be used for developing SNN-based fusion methods. By virtue of the dual-modal feature of the dataset, we propose a Cross-Modality Attention (CMA) based fusion method. The CMA model efficiently utilizes the unique advantages of each modality, allowing for SNNs to learn both temporal and spatial attention scores from the spatio-temporal features of event and frame modalities, subsequently allocating these scores across modalities to enhance their synergy. Experimental results demonstrate that our method not only improves recognition accuracy but also ensures robustness across diverse scenarios.
• Abstract（参考訳）: 低消費電力、脳に触発されたアーキテクチャ、時空間表現能力で有名なスパイキングニューラルネットワーク(SNN)は、近年かなりの注目を集めている。 ニューラルネットワーク(ANN)と同様に、高品質なベンチマークデータセットは、SNNの進化にとって非常に重要である。 しかし,多くの有意なニューロモルフィックデータセットでは時間的相関が強く,SNNが時空間表現能力を十分に活用できないことが示唆された。 一方、イベントとフレームのモダリティの統合は、より包括的な視覚的時空間情報を提供する。 しかし、SNNベースのクロスモダリティ融合はまだ未定である。 本研究では,SNNの時空間特性をよりよく活用できるDVS-SLRというニューロモルフィックデータセットを提案する。 既存のデータセットと比較して、高い時間的相関、より大きなスケール、より多様なシナリオの点で利点がある。 さらに,我々のニューロモルフィックデータセットには対応するフレームデータが含まれており,SNNベースの融合法の開発に利用することができる。 データセットのデュアルモーダルな特徴により,CMA(Cross-Modality Attention)に基づく融合法を提案する。 CMAモデルは各モダリティの独特な利点を効果的に利用し、SNNはイベントとフレームの時空間的特徴から時間的および空間的注意スコアを学習し、その後、これらのスコアをモダリティに割り当ててシナジーを高める。 実験結果から,本手法は認識精度を向上するだけでなく,多様なシナリオにおける堅牢性も確保できることがわかった。

関連論文リスト

• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Advancing Spiking Neural Networks towards Multiscale Spatiotemporal Interaction Learning [10.702093960098106]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)のエネルギー効率の良い代替品として機能する 我々は、マルチスケールの時間的相互作用情報をキャプチャするスパイキング・マルチスケール・アテンション(SMA)モジュールを設計した。 われわれのアプローチは、主流のニューラルネットワークで最先端の結果を得た。
  論文  参考訳（メタデータ） (2024-05-22T14:16:05Z)
• Stochastic Spiking Neural Networks with First-to-Spike Coding [7.955633422160267]
  スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率で知られている。 本研究では,SNNアーキテクチャにおける新しい計算手法と情報符号化方式の融合について検討する。 提案手法のトレードオフを,精度,推論遅延,スパイク空間性,エネルギー消費,データセットの観点から検討する。
  論文  参考訳（メタデータ） (2024-04-26T22:52:23Z)
• Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
  スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。 SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。 本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T16:23:50Z)
• Temporal Contrastive Learning for Spiking Neural Networks [23.963069990569714]
  生物学的にインスパイアされたニューラルネットワーク(SNN)は、低エネルギー消費と時間的情報処理能力のためにかなりの注目を集めている。 本稿では、時間領域情報にコントラスト的監督を組み込むことにより、低レイテンシで高性能なSNNを得る新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T10:31:46Z)
• Disentangling Structured Components: Towards Adaptive, Interpretable and Scalable Time Series Forecasting [52.47493322446537]
  本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。 SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。 SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
  論文  参考訳（メタデータ） (2023-05-22T13:39:44Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• STSC-SNN: Spatio-Temporal Synaptic Connection with Temporal Convolution and Attention for Spiking Neural Networks [7.422913384086416]
  ニューロモルフィックコンピューティングのアルゴリズムモデルの一つであるスパイキングニューラルネットワーク(SNN)は、時間的処理能力のために多くの研究注目を集めている。 SNNの既存のシナプス構造は、ほぼ完全な接続や空間的2次元畳み込みであり、どちらも時間的依存関係を適切に抽出できない。 生体シナプスからインスピレーションを得てシナプス接続SNNモデルを提案し,シナプス接続の時間的受容場を強化する。 時間的依存を伴うシナプスモデルの提供は、分類タスクにおけるSNNの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:13:22Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Comparing SNNs and RNNs on Neuromorphic Vision Datasets: Similarities and Differences [36.82069150045153]
  スパイキングニューラルネットワーク(SNN)とリカレントニューラルネットワーク(RNN)は、ニューロモルフィックデータに基づいてベンチマークされる。 本研究では,SNNとRNNをニューロモルフィックデータと比較するための系統的研究を行う。
  論文  参考訳（メタデータ） (2020-05-02T10:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。