論文の概要: Signal-SGN: A Spiking Graph Convolutional Network for Skeletal Action Recognition via Learning Temporal-Frequency Dynamics

• arxiv url: http://arxiv.org/abs/2408.01701v1
• Date: Sat, 3 Aug 2024 07:47:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 18:51:05.662681
• Title: Signal-SGN: A Spiking Graph Convolutional Network for Skeletal Action Recognition via Learning Temporal-Frequency Dynamics
• Title（参考訳）: Signal-SGN:時間周波数ダイナミクスの学習による骨格行動認識のためのスパイキンググラフ畳み込みネットワーク
• Authors: Naichuan Zheng, Hailun Xia, Dapeng Liu,
• Abstract要約: 骨格に基づく行動認識では、グラフ畳み込みネットワーク(GCN)はその複雑さと高エネルギー消費のために制限に直面している。 本稿では、骨格配列の時間次元をスパイキング時間ステップとして活用するSignal-SGN(Spiking Graph Convolutional Network)を提案する。 実験により,提案モデルが既存のSNN法を精度で上回るだけでなく,学習時の計算記憶コストも低減できることがわかった。
• 参考スコア（独自算出の注目度）: 2.9578022754506605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In skeletal-based action recognition, Graph Convolutional Networks (GCNs) based methods face limitations due to their complexity and high energy consumption. Spiking Neural Networks (SNNs) have gained attention in recent years for their low energy consumption, but existing methods combining GCNs and SNNs fail to fully utilize the temporal characteristics of skeletal sequences, leading to increased storage and computational costs. To address this issue, we propose a Signal-SGN(Spiking Graph Convolutional Network), which leverages the temporal dimension of skeletal sequences as the spiking timestep and treats features as discrete stochastic signals. The core of the network consists of a 1D Spiking Graph Convolutional Network (1D-SGN) and a Frequency Spiking Convolutional Network (FSN). The SGN performs graph convolution on single frames and incorporates spiking network characteristics to capture inter-frame temporal relationships, while the FSN uses Fast Fourier Transform (FFT) and complex convolution to extract temporal-frequency features. We also introduce a multi-scale wavelet transform feature fusion module(MWTF) to capture spectral features of temporal signals, enhancing the model's classification capability. We propose a pluggable temporal-frequency spatial semantic feature extraction module(TFSM) to enhance the model's ability to distinguish features without increasing inference-phase consumption. Our numerous experiments on the NTU RGB+D, NTU RGB+D 120, and NW-UCLA datasets demonstrate that the proposed models not only surpass existing SNN-based methods in accuracy but also reduce computational and storage costs during training. Furthermore, they achieve competitive accuracy compared to corresponding GCN-based methods, which is quite remarkable.
• Abstract（参考訳）: 骨格に基づく行動認識では、グラフ畳み込みネットワーク(GCN)ベースの手法は、その複雑さと高エネルギー消費のために制限に直面している。 スパイキングニューラルネットワーク(SNN)は近年、低エネルギー消費で注目を集めているが、GCNとSNNを組み合わせた既存の手法では骨格配列の時間的特性を完全に活用できず、ストレージと計算コストが増大している。 この問題に対処するために、骨格配列の時間次元をスパイキング時間ステップとして利用し、特徴を離散確率信号として扱うSignal-SGN(Spiking Graph Convolutional Network)を提案する。 ネットワークのコアは1Dスパイキンググラフ畳み込みネットワーク(1D-SGN)と周波数スパイキング畳み込みネットワーク(FSN)で構成されている。 SGNは単一フレーム上でグラフ畳み込みを行い、スパイクネットワーク特性を取り入れてフレーム間時間関係を捉え、FSNはFast Fourier Transform(FFT)と複雑な畳み込みを用いて時間周波数の特徴を抽出する。 また,マルチスケールウェーブレット変換機能融合モジュール(MWTF)を導入し,時間信号のスペクトル特性を捉え,モデルの分類能力を向上する。 本稿では,時間空間的特徴抽出モジュール(TFSM)を提案する。 NTU RGB+D、NTU RGB+D 120、およびNW-UCLAデータセットに関する多数の実験により、提案モデルは既存のSNNベースの手法を精度良く上回るだけでなく、トレーニング中の計算および記憶コストを低減できることを示した。 さらに、対応するGCNベースの手法と比較して競争精度が向上し、非常に顕著である。

関連論文リスト

• Point Cloud Denoising With Fine-Granularity Dynamic Graph Convolutional Networks [58.050130177241186]
  ノイズの摂動は、しばしば3次元の点雲を破損させ、表面の再構成、レンダリング、さらなる処理といった下流のタスクを妨げる。 本稿では,GDGCNと呼ばれる粒度動的グラフ畳み込みネットワークについて紹介する。
  論文  参考訳（メタデータ） (2024-11-21T14:19:32Z)
• BLIS-Net: Classifying and Analyzing Signals on Graphs [20.345611294709244]
  グラフニューラルネットワーク(GNN)は、ノード分類やグラフ分類といったタスクのための強力なツールとして登場した。 我々は以前に導入された幾何散乱変換に基づいて構築された新しいGNNであるBLIS-Net(Bi-Lipschitz Scattering Net)を紹介する。 BLIS-Netは,交通流とfMRIデータに基づいて,合成データと実世界のデータの両方において優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-10-26T17:03:14Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• STSC-SNN: Spatio-Temporal Synaptic Connection with Temporal Convolution and Attention for Spiking Neural Networks [7.422913384086416]
  ニューロモルフィックコンピューティングのアルゴリズムモデルの一つであるスパイキングニューラルネットワーク(SNN)は、時間的処理能力のために多くの研究注目を集めている。 SNNの既存のシナプス構造は、ほぼ完全な接続や空間的2次元畳み込みであり、どちらも時間的依存関係を適切に抽出できない。 生体シナプスからインスピレーションを得てシナプス接続SNNモデルを提案し,シナプス接続の時間的受容場を強化する。 時間的依存を伴うシナプスモデルの提供は、分類タスクにおけるSNNの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:13:22Z)
• Continual Spatio-Temporal Graph Convolutional Networks [87.86552250152872]
  時空間グラフ畳み込みニューラルネットワークを連続推論ネットワークとして再構成する。 オンライン推論において、最大109倍の時間複雑性、26倍のハードウェアアクセラレーション、最大割り当てメモリの最大52%の削減を観測した。
  論文  参考訳（メタデータ） (2022-03-21T14:23:18Z)
• Ultra-low Latency Spiking Neural Networks with Spatio-Temporal Compression and Synaptic Convolutional Block [4.081968050250324]
  スパイキングニューラルネットワーク(SNN)は、神経時間情報能力、低処理機能、高い生物学的妥当性を有する。 Neuro-MNIST、CIFAR10-S、DVS128ジェスチャデータセットは、個々のイベントをフレームに集約し、イベントストリーム分類の時間分解能を高める必要がある。 本研究では,NIST電流の時間ステップに個々のイベントを集約し,トレーニングや推論の遅延を低減する処理時間圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-03-18T15:14:13Z)
• Space-Time Graph Neural Networks [104.55175325870195]
  本研究では、時空間グラフニューラルネットワーク(ST-GNN)を導入し、時間変動ネットワークデータの時空間トポロジを共同処理する。 解析の結果,システムのネットワークトポロジと時間進化の変動はST-GNNの性能に大きく影響しないことがわかった。
  論文  参考訳（メタデータ） (2021-10-06T16:08:44Z)
• Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning [9.88508686848173]
  内在的なダイナミクスを持つ生物学的スパイキングニューロンは、脳の強力な表現力と学習能力を持つ。 ユークリッド空間タスクを処理するためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、非ユークリッド空間データの処理においてSNNを活用することは依然として困難である。 本稿では,グラフ学習のためのSNNの直接学習を可能にする,一般的なスパイクに基づくモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:20:16Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
  最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。 我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
  論文  参考訳（メタデータ） (2020-10-06T01:20:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。