論文の概要: Temporal-Guided Spiking Neural Networks for Event-Based Human Action Recognition

• arxiv url: http://arxiv.org/abs/2503.17132v1
• Date: Fri, 21 Mar 2025 13:31:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:59:04.567973
• Title: Temporal-Guided Spiking Neural Networks for Event-Based Human Action Recognition
• Title（参考訳）: 事象に基づく人間行動認識のための時間誘導スパイクニューラルネットワーク
• Authors: Siyuan Yang, Shilin Lu, Shizheng Wang, Meng Hwa Er, Zengwei Zheng, Alex C. Kot,
• Abstract要約: 本稿では、プライバシ保護人間行動認識(HAR)のための、ニューラルネットワーク(SNN)とイベントベースのカメラとの有望な相互作用について検討する。 時間セグメントベースSNN(textitTS-SNN)と3D畳み込みSNN(textit3D-SNN)の2つの新しいフレームワークを紹介した。 イベントベースHARにおけるさらなる研究を促進するため、高解像度のCeleX-Vイベントカメラを用いて収集したデータセット、textitFallingDetection-CeleXを作成する。
• 参考スコア（独自算出の注目度）: 31.528007074074043
• License:
• Abstract: This paper explores the promising interplay between spiking neural networks (SNNs) and event-based cameras for privacy-preserving human action recognition (HAR). The unique feature of event cameras in capturing only the outlines of motion, combined with SNNs' proficiency in processing spatiotemporal data through spikes, establishes a highly synergistic compatibility for event-based HAR. Previous studies, however, have been limited by SNNs' ability to process long-term temporal information, essential for precise HAR. In this paper, we introduce two novel frameworks to address this: temporal segment-based SNN (\textit{TS-SNN}) and 3D convolutional SNN (\textit{3D-SNN}). The \textit{TS-SNN} extracts long-term temporal information by dividing actions into shorter segments, while the \textit{3D-SNN} replaces 2D spatial elements with 3D components to facilitate the transmission of temporal information. To promote further research in event-based HAR, we create a dataset, \textit{FallingDetection-CeleX}, collected using the high-resolution CeleX-V event camera $(1280 \times 800)$, comprising 7 distinct actions. Extensive experimental results show that our proposed frameworks surpass state-of-the-art SNN methods on our newly collected dataset and three other neuromorphic datasets, showcasing their effectiveness in handling long-range temporal information for event-based HAR.
• Abstract（参考訳）: 本稿では,プライバシ保護型ヒューマンアクション認識(HAR)のための,スパイキングニューラルネットワーク(SNN)とイベントベースのカメラとの将来的な相互作用について検討する。 動きの輪郭のみをキャプチャするイベントカメラのユニークな特徴は、スパイクによる時空間データの処理能力と相まって、イベントベースのHARに対して非常に相乗的な互換性を確立する。 しかし、従来の研究は、SNNが長期の時間的情報を処理する能力によって制限されており、これは正確なHARに必須である。 本稿では,時間セグメントベースSNN(\textit{TS-SNN})と3次元畳み込みSNN(\textit{3D-SNN})の2つの新しいフレームワークを紹介する。 The \textit{TS-SNN} extracts long-term temporal information by dividing actions into short segments, the \textit{3D-SNN} replaceds 2D space element with 3D components to help the transmission of temporal information。 イベントベースHARにおけるさらなる研究を促進するために,7つのアクションからなる高解像度CeleX-Vイベントカメラ(1280 \times 800)$を用いて収集したデータセットである \textit{FallingDetection-CeleX} を作成した。 大規模実験の結果,提案手法は新たに収集したデータセットと他の3つのニューロモルフィックデータセットの最先端SNN手法を超越し,イベントベースHARにおける長期時間情報処理の有効性を示した。

関連論文リスト

• Enhanced Temporal Processing in Spiking Neural Networks for Static Object Detection Using 3D Convolutions [0.0]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、時間的情報を処理できるネットワークモデルである。 本稿では,SNNの時間情報処理能力の向上に焦点をあてる。 時間情報のSNN処理を改善するために,従来の2次元畳み込みを3次元畳み込みに置き換えることを提案する。
  論文  参考訳（メタデータ） (2024-12-23T15:32:26Z)
• Enhancing SNN-based Spatio-Temporal Learning: A Benchmark Dataset and Cross-Modality Attention Model [30.66645039322337]
  高品質なベンチマークデータセットは、ニューラルネットワーク(SNN)の発展に非常に重要である しかし、SNNベースのクロスモーダル融合はまだ未定である。 本研究では,SNNの時間的特性をよりよく活用できるニューロモルフィックデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-21T06:59:04Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• SFOD: Spiking Fusion Object Detector [10.888008544975662]
  Spiking Fusion Object Detector (SFOD)は、SNNベースのオブジェクト検出のためのシンプルで効率的なアプローチである。 我々は、イベントカメラに適用されたSNNにおいて、異なるスケールのフィーチャーマップを初めて融合させる、スパイキングフュージョンモジュールを設計する。 我々は、NCARデータセット上で93.7%の精度を達成し、SNNに基づいて最先端の分類結果を確立する。
  論文  参考訳（メタデータ） (2024-03-22T13:24:50Z)
• Efficient and Effective Time-Series Forecasting with Spiking Neural Networks [47.371024581669516]
  スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。 SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。 本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-02T16:23:50Z)
• Event-based Human Pose Tracking by Spiking Spatiotemporal Transformer [20.188995900488717]
  イベントベースのポーズトラッキングのための、エンド・ツー・エンドのスパース・ディープ・アプローチを提案する。 イベントのみから3Dのポーズトラッキングが取得されたのはこれが初めてである。 提案手法はFLOPSの80%を大幅に削減する。
  論文  参考訳（メタデータ） (2023-03-16T22:56:12Z)
• Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for Temporal Sentence Grounding [61.57847727651068]
  テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。 これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。 我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T13:57:09Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
  textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。 textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-05-13T21:34:55Z)
• Real-Time High-Performance Semantic Image Segmentation of Urban Street Scenes [98.65457534223539]
  都市景観のロバストなセマンティックセマンティックセグメンテーションのためのリアルタイムDCNNに基づく高速DCNN手法を提案する。 提案手法は, 51.0 fps と 39.3 fps の推論速度で, 平均 73.6% と平均 68.0% (mIoU) の精度を実現する。
  論文  参考訳（メタデータ） (2020-03-11T08:45:53Z)
• Event-Based Angular Velocity Regression with Spiking Networks [51.145071093099396]
  スパイキングニューラルネットワーク(SNN)は、数値ではなく時間スパイクとして伝達される情報を処理する。 本稿では,イベントカメラから与えられた事象の時間回帰問題を初めて提案する。 角速度回帰を行うためにSNNをうまく訓練できることが示される。
  論文  参考訳（メタデータ） (2020-03-05T17:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。