論文の概要: ReSpike: Residual Frames-based Hybrid Spiking Neural Networks for Efficient Action Recognition

• arxiv url: http://arxiv.org/abs/2409.01564v1
• Date: Tue, 3 Sep 2024 03:01:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 03:06:29.173306
• Title: ReSpike: Residual Frames-based Hybrid Spiking Neural Networks for Efficient Action Recognition
• Title（参考訳）: ReSpike: 効率的な行動認識のための残留フレームに基づくハイブリッドスパイクニューラルネットワーク
• Authors: Shiting Xiao, Yuhang Li, Youngeun Kim, Donghyun Lee, Priyadarshini Panda,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる、魅力的なエネルギー効率の高い代替手段として登場した。 本稿では,ANNとSNNの強みを相乗化するハイブリッドフレームワークReSpikeを提案する。
• 参考スコア（独自算出の注目度）: 26.7175155847563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) have emerged as a compelling, energy-efficient alternative to traditional Artificial Neural Networks (ANNs) for static image tasks such as image classification and segmentation. However, in the more complex video classification domain, SNN-based methods fall considerably short of ANN-based benchmarks due to the challenges in processing dense frame sequences. To bridge this gap, we propose ReSpike, a hybrid framework that synergizes the strengths of ANNs and SNNs to tackle action recognition tasks with high accuracy and low energy cost. By decomposing film clips into spatial and temporal components, i.e., RGB image Key Frames and event-like Residual Frames, ReSpike leverages ANN for learning spatial information and SNN for learning temporal information. In addition, we propose a multi-scale cross-attention mechanism for effective feature fusion. Compared to state-of-the-art SNN baselines, our ReSpike hybrid architecture demonstrates significant performance improvements (e.g., >30% absolute accuracy improvement on HMDB-51, UCF-101, and Kinetics-400). Furthermore, ReSpike achieves comparable performance with prior ANN approaches while bringing better accuracy-energy tradeoff.
• Abstract（参考訳）: Spiking Neural Networks (SNN) は、画像分類やセグメンテーションなどの静的イメージタスクにおいて、従来のニューラルネットワーク(ANN)に代わる、魅力的なエネルギー効率の高い代替手段として登場した。 しかし、より複雑なビデオ分類領域では、高密度フレームシーケンスの処理が困難であるため、SNNベースの手法はANNベースのベンチマークにかなり劣っている。 このギャップを埋めるために、我々はANNとSNNの強みを相乗化するハイブリッドフレームワークReSpikeを提案し、高い精度と低エネルギーコストで行動認識タスクに取り組む。 映像クリップを空間的・時間的要素、すなわちRGBイメージのキーフレームとイベントライクな残留フレームに分解することで、ReSpikeは空間的情報学習にANN、時間的情報学習にSNNを利用する。 さらに,効率的な機能融合のためのマルチスケールのクロスアテンション機構を提案する。 最先端のSNNベースラインと比較して、我々のReSpikeハイブリッドアーキテクチャは、大幅なパフォーマンス向上(例えば、HMDB-51、UCF-101、Kinetics-400における30%の絶対精度の改善)を示しています。 さらに、ReSpikeは従来のANNアプローチと同等のパフォーマンスを実現し、精度とエネルギーのトレードオフを改善している。

関連論文リスト

• Advancing Spiking Neural Networks towards Multiscale Spatiotemporal Interaction Learning [10.702093960098106]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)のエネルギー効率の良い代替品として機能する 我々は、マルチスケールの時間的相互作用情報をキャプチャするスパイキング・マルチスケール・アテンション(SMA)モジュールを設計した。 われわれのアプローチは、主流のニューラルネットワークで最先端の結果を得た。
  論文  参考訳（メタデータ） (2024-05-22T14:16:05Z)
• A Hybrid SNN-ANN Network for Event-based Object Detection with Spatial and Temporal Attention [2.5075774828443467]
  イベントカメラは、時間分解能が高く、動きのぼやけが少ないダイナミックレンジを提供し、オブジェクト検出タスクを約束する。 Spiking Neural Networks(SNN)はイベントベースの知覚データに自然に一致するが、Artificial Neural Networks(ANN)はより安定したトレーニングダイナミクスを表示する傾向がある。 イベントカメラを用いたオブジェクト検出のための,最初のハイブリッドアテンションベースのSNN-ANNバックボーンを提案する。
  論文  参考訳（メタデータ） (2024-03-15T10:28:31Z)
• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• Neural Architecture Search for Spiking Neural Networks [10.303676184878896]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として大きな注目を集めている。 従来のSNN手法のほとんどはANNのようなアーキテクチャを使用しており、これはSNNにおけるバイナリ情報の時間的シーケンス処理に準最適性能を提供する。 より優れたSNNアーキテクチャを見つけるための新しいニューラルネットワーク探索(NAS)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-23T16:34:27Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Towards Low-Latency Energy-Efficient Deep SNNs via Attention-Guided Compression [12.37129078618206]
  ディープスパイクニューラルネットワーク(SNN)は、従来のディープラーニングフレームワークに代わる潜在的な選択肢として登場した。 ほとんどのSNNトレーニングフレームワークは、スパイクアクティビティの増加とエネルギー効率の低下につながる大きな推論遅延をもたらす。 本稿では, スパイク活性を低減した超高圧縮を実現する非定常SNNトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-07-16T18:23:36Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。