論文の概要: SpikePoint: An Efficient Point-based Spiking Neural Network for Event Cameras Action Recognition

• arxiv url: http://arxiv.org/abs/2310.07189v2
• Date: Tue, 23 Jan 2024 08:20:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 19:07:18.111014
• Title: SpikePoint: An Efficient Point-based Spiking Neural Network for Event Cameras Action Recognition
• Title（参考訳）: SpikePoint: イベントカメラアクション認識のための効率的なポイントベーススパイクニューラルネットワーク
• Authors: Hongwei Ren, Yue Zhou, Yulong Huang, Haotian Fu, Xiaopeng Lin, Jie Song, Bojun Cheng
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、その顕著な効率性と耐障害性のために注目されている。 本稿では,新しいエンドツーエンドのポイントベースSNNアーキテクチャであるSpikePointを提案する。 SpikePointはスパースイベントクラウドデータの処理に優れ、グローバル機能とローカル機能の両方を効果的に抽出する。
• 参考スコア（独自算出の注目度）: 11.178792888084692
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras are bio-inspired sensors that respond to local changes in light intensity and feature low latency, high energy efficiency, and high dynamic range. Meanwhile, Spiking Neural Networks (SNNs) have gained significant attention due to their remarkable efficiency and fault tolerance. By synergistically harnessing the energy efficiency inherent in event cameras and the spike-based processing capabilities of SNNs, their integration could enable ultra-low-power application scenarios, such as action recognition tasks. However, existing approaches often entail converting asynchronous events into conventional frames, leading to additional data mapping efforts and a loss of sparsity, contradicting the design concept of SNNs and event cameras. To address this challenge, we propose SpikePoint, a novel end-to-end point-based SNN architecture. SpikePoint excels at processing sparse event cloud data, effectively extracting both global and local features through a singular-stage structure. Leveraging the surrogate training method, SpikePoint achieves high accuracy with few parameters and maintains low power consumption, specifically employing the identity mapping feature extractor on diverse datasets. SpikePoint achieves state-of-the-art (SOTA) performance on four event-based action recognition datasets using only 16 timesteps, surpassing other SNN methods. Moreover, it also achieves SOTA performance across all methods on three datasets, utilizing approximately 0.3\% of the parameters and 0.5\% of power consumption employed by artificial neural networks (ANNs). These results emphasize the significance of Point Cloud and pave the way for many ultra-low-power event-based data processing applications.
• Abstract（参考訳）: イベントカメラはバイオインスパイアされたセンサーで、光強度の局所的な変化に対応し、低レイテンシ、高エネルギー効率、高ダイナミックレンジを特徴とする。 一方、スパイキングニューラルネットワーク(SNN)は、その顕著な効率と耐故障性のために注目されている。 イベントカメラに固有のエネルギー効率とSNNのスパイクベースの処理能力を相乗的に活用することにより、アクション認識タスクのような超低消費電力アプリケーションシナリオを実現することができる。 しかし、既存のアプローチでは非同期イベントを従来のフレームに変換することが必要であり、snsやイベントカメラの設計概念と矛盾するデータマッピングの努力とスパーシティの喪失に繋がる。 この課題に対処するために,新しいエンドツーエンドのポイントベースSNNアーキテクチャであるSpikePointを提案する。 spikepointはスパースイベントクラウドデータの処理に優れており、単一のステージ構造を通じてグローバルとローカル両方の特徴を効果的に抽出する。 surrogateトレーニングメソッドを活用することで、spikepointは少ないパラメータで高い精度を実現し、低消費電力を維持し、特にさまざまなデータセットでidマッピング機能抽出器を使用している。 SpikePointは4つのイベントベースのアクション認識データセット上で、他のSNNメソッドを上回る16のタイムステップで、最先端(SOTA)パフォーマンスを達成する。 さらに、ANN(Artificial Neural Network)が使用するパラメータの0.35%と0.5%の電力消費を利用して、3つのデータセット上のすべてのメソッドでSOTA性能を実現する。 これらの結果はPoint Cloudの重要性を強調し、多くの超低消費電力のイベントベースのデータ処理アプリケーションに道を開く。

関連論文リスト

• A Novel Spike Transformer Network for Depth Estimation from Event Cameras via Cross-modality Knowledge Distillation [3.355813093377501]
  イベントカメラは従来のデジタルカメラとは異なる動作をし、データを継続的にキャプチャし、時間、位置、光強度を符号化するバイナリスパイクを生成する。 これは、イベントカメラに適した革新的でスパイク対応のアルゴリズムの開発を必要とする。 スパイクカメラデータから深度推定を行うために,純粋にスパイク駆動のスパイク変圧器ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-04-26T11:32:53Z)
• A Simple and Effective Point-based Network for Event Camera 6-DOFs Pose Relocalization [6.691696783214036]
  イベントカメラは、高いダイナミックレンジ、非同期性、低レイテンシなどの顕著な特性を示す。 これらのカメラは、イベント中の動きや深度情報を暗黙的に捉え、カメラポーズ・リローカライゼーション(CPR)タスクのためのセンサーをアピールする。 イベントに基づく既存のCPRネットワークは、イベントにおける重要な微粒な時間情報を無視し、不満足なパフォーマンスをもたらす。 PEPNetは,6自由度(6-DOF)イベントカメラのポーズを抑えるために設計された,シンプルで効果的なポイントベースネットワークである。
  論文  参考訳（メタデータ） (2024-03-28T13:36:00Z)
• SFOD: Spiking Fusion Object Detector [10.888008544975662]
  Spiking Fusion Object Detector (SFOD)は、SNNベースのオブジェクト検出のためのシンプルで効率的なアプローチである。 我々は、イベントカメラに適用されたSNNにおいて、異なるスケールのフィーチャーマップを初めて融合させる、スパイキングフュージョンモジュールを設計する。 我々は、NCARデータセット上で93.7%の精度を達成し、SNNに基づいて最先端の分類結果を確立する。
  論文  参考訳（メタデータ） (2024-03-22T13:24:50Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• Automotive Object Detection via Learning Sparse Events by Spiking Neurons [20.930277906912394]
  スパイキングニューラルネットワーク(SNN)は、本質的にイベントベースのデータと整合した時間的表現を提供する。 自動車のイベントベース物体検出に最適化された特化スパイキング特徴ピラミッドネットワーク(SpikeFPN)を提案する。
  論文  参考訳（メタデータ） (2023-07-24T15:47:21Z)
• A Wireless-Vision Dataset for Privacy Preserving Human Activity Recognition [53.41825941088989]
  アクティビティ認識の堅牢性を改善するため,WiNN(WiFi-based and video-based neural network)が提案されている。 以上の結果から,WiViデータセットは一次需要を満足し,パイプライン内の3つのブランチはすべて,80%以上のアクティビティ認識精度を維持していることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T10:49:11Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Energy-Efficient Model Compression and Splitting for Collaborative Inference Over Time-Varying Channels [52.60092598312894]
  本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。 提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
  論文  参考訳（メタデータ） (2021-06-02T07:36:27Z)
• Spike-FlowNet: Event-based Optical Flow Estimation with Energy-Efficient Hybrid Neural Networks [40.44712305614071]
  本稿では,SNNとANNを統合したディープハイブリッドニューラルネットワークアーキテクチャであるSpike-FlowNetを提案する。 このネットワークは、MVSEC(Multi-Vehicle Stereo Event Camera)データセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。
  論文  参考訳（メタデータ） (2020-03-14T20:37:21Z)
• Real-Time High-Performance Semantic Image Segmentation of Urban Street Scenes [98.65457534223539]
  都市景観のロバストなセマンティックセマンティックセグメンテーションのためのリアルタイムDCNNに基づく高速DCNN手法を提案する。 提案手法は, 51.0 fps と 39.3 fps の推論速度で, 平均 73.6% と平均 68.0% (mIoU) の精度を実現する。
  論文  参考訳（メタデータ） (2020-03-11T08:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。