論文の概要: A Hybrid SNN-ANN Network for Event-based Object Detection with Spatial and Temporal AttentionEfficient Event-Based Object Detection: A Hybrid Neural Network with Spatial and Temporal Attention

• arxiv url: http://arxiv.org/abs/2403.10173v2
• Date: Fri, 07 Mar 2025 12:03:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:24:09.620652
• Title: A Hybrid SNN-ANN Network for Event-based Object Detection with Spatial and Temporal AttentionEfficient Event-Based Object Detection: A Hybrid Neural Network with Spatial and Temporal Attention
• Title（参考訳）: 空間的・時間的注意を伴うイベントベース物体検出のためのハイブリッドSNN-ANNネットワーク:空間的・時間的注意を伴うハイブリッドニューラルネットワーク
• Authors: Soikat Hasan Ahmed, Jan Finkbeiner, Emre Neftci,
• Abstract要約: ニューロモルフィックハードウェア上でのスパイキングニューラルネットワーク(SNN)は、エネルギー効率と低レイテンシのイベントベースのデータ処理のためにしばしば考慮される。 本稿では、イベントベースオブジェクト検出のためのアテンションベースのHybrid SNN-ANNバックボーンを紹介する。
• 参考スコア（独自算出の注目度）: 2.5075774828443467
• License:
• Abstract: Event cameras offer high temporal resolution and dynamic range with minimal motion blur, making them promising for robust object detection. While Spiking Neural Networks (SNNs) on neuromorphic hardware are often considered for energy efficient and low latency event-based data processing, they often fall short of Artificial Neural Networks (ANNs) in accuracy and flexibility. Here, we introduce Attention-based Hybrid SNN-ANN backbones for event-based object detection to leverage the strengths of both SNN and ANN architectures. A novel Attention-based SNN-ANN bridge module captures sparse spatial and temporal relations from the SNN layer and converts them into dense feature maps for the ANN part of the backbone. Additionally, we present a variant that integrates DWConvLSTMs to the ANN blocks to capture slower dynamics. This multi-timescale network combines fast SNN processing for short timesteps with long-term dense RNN processing, effectively capturing both fast and slow dynamics. Experimental results demonstrate that our proposed method surpasses SNN-based approaches by significant margins, with results comparable to existing ANN and RNN-based methods. Unlike ANN-only networks, the hybrid setup allows us to implement the SNN blocks on digital neuromorphic hardware to investigate the feasibility of our approach. Extensive ablation studies and implementation on neuromorphic hardware confirm the effectiveness of our proposed modules and architectural choices. Our hybrid SNN-ANN architectures pave the way for ANN-like performance at a drastically reduced parameter, latency, and power budget.
• Abstract（参考訳）: イベントカメラは、時間分解能が高く、動きのぼやけが少ないダイナミックレンジを提供し、堅牢な物体検出を約束する。 ニューロモルフィックハードウェア上のスパイクニューラルネットワーク(SNN)は、エネルギー効率が良く、低レイテンシのイベントベースのデータ処理と見なされることが多いが、精度と柔軟性において、ニューラルネットワーク(ANN)に欠けることが多い。 本稿では、イベントベースオブジェクト検出のためのアテンションベースハイブリッドSNN-ANNバックボーンを導入し、SNNおよびANNアーキテクチャの長所を活用する。 新規なアテンションベースのSNN-ANNブリッジモジュールは、SNN層からの疎空間的および時間的関係を捕捉し、それらをバックボーンのANN部分の密度の高い特徴マップに変換する。 さらに, DWConvLSTM を ANN ブロックに統合し, 遅いダイナミックスを捉える変異体を提案する。 このマルチスケールネットワークは、短時間のSNN処理と長期のRNN処理を組み合わせ、高速かつ低速なダイナミックスの両方を効果的に捕捉する。 実験の結果,提案手法は既存の ANN 法と RNN 法に比較して,SNN のアプローチをかなりの差で上回っていることがわかった。 ANNのみのネットワークとは異なり、SNNブロックをデジタルニューロモルフィックハードウェア上に実装することで、我々のアプローチの実現可能性を調べることができる。 大規模アブレーション研究とニューロモルフィックハードウェアの実装により,提案したモジュールの有効性と設計上の選択が確認された。 我々のハイブリッドSNN-ANNアーキテクチャは、パラメータ、レイテンシ、電力予算を大幅に削減したANNのようなパフォーマンスを実現する。

関連論文リスト

• ReSpike: Residual Frames-based Hybrid Spiking Neural Networks for Efficient Action Recognition [26.7175155847563]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる、魅力的なエネルギー効率の高い代替手段として登場した。 本稿では,ANNとSNNの強みを相乗化するハイブリッドフレームワークReSpikeを提案する。
  論文  参考訳（メタデータ） (2024-09-03T03:01:25Z)
• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Towards Efficient Deployment of Hybrid SNNs on Neuromorphic and Edge AI Hardware [0.493599216374976]
  本稿では,ニューロモルフィックとエッジコンピューティングの相乗的ポテンシャルを考察し,動的視覚センサが捉えたデータ処理に適した多目的機械学習(ML)システムを構築する。 我々は、PyTorchとLavaフレームワークを使用して、スパイキングニューラルネットワーク(SNN)と人工ニューラルネットワーク(ANN)を混合してハイブリッドモデルを構築し、訓練する。
  論文  参考訳（メタデータ） (2024-07-11T17:40:39Z)
• Highly Efficient SNNs for High-speed Object Detection [7.3074002563489024]
  実験結果から, 物体検出タスクにおいて, 1.5MBのパラメータしか持たないGPU上で, 効率的なSNNが118倍の高速化を実現できることが示唆された。 FPGAプラットフォーム上でのSNNをさらに検証し,800以上のFPSオブジェクトを極めて低レイテンシで検出できるモデルを提案する。
  論文  参考訳（メタデータ） (2023-09-27T10:31:12Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
  スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。 本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。 実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
  論文  参考訳（メタデータ） (2022-06-19T16:52:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Beyond Classification: Directly Training Spiking Neural Networks for Semantic Segmentation [5.800785186389827]
  ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。 本稿では,ニューロンをスパイクしたセマンティックセグメンテーションネットワークの分類を超えて,SNNの応用について検討する。
  論文  参考訳（メタデータ） (2021-10-14T21:53:03Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• SiamSNN: Siamese Spiking Neural Networks for Energy-Efficient Object Tracking [20.595208488431766]
  SiamSNNは、視覚オブジェクト追跡ベンチマークであるTB2013, VOT2016, GOT-10kにおいて、短いレイテンシと低い精度の損失を達成する最初のディープSNNトラッカーである。 SiamSNNは、ニューロモルフィックチップTrueNorth上で低エネルギー消費とリアルタイムを実現する。
  論文  参考訳（メタデータ） (2020-03-17T08:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。