論文の概要: SFOD: Spiking Fusion Object Detector
- arxiv url: http://arxiv.org/abs/2403.15192v1
- Date: Fri, 22 Mar 2024 13:24:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 17:29:06.770448
- Title: SFOD: Spiking Fusion Object Detector
- Title(参考訳): SFOD:Spking Fusion Object Detector
- Authors: Yimeng Fan, Wei Zhang, Changsong Liu, Mingyang Li, Wenrui Lu,
- Abstract要約: Spiking Fusion Object Detector (SFOD)は、SNNベースのオブジェクト検出のためのシンプルで効率的なアプローチである。
我々は、イベントカメラに適用されたSNNにおいて、異なるスケールのフィーチャーマップを初めて融合させる、スパイキングフュージョンモジュールを設計する。
我々は、NCARデータセット上で93.7%の精度を達成し、SNNに基づいて最先端の分類結果を確立する。
- 参考スコア(独自算出の注目度): 10.888008544975662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras, characterized by high temporal resolution, high dynamic range, low power consumption, and high pixel bandwidth, offer unique capabilities for object detection in specialized contexts. Despite these advantages, the inherent sparsity and asynchrony of event data pose challenges to existing object detection algorithms. Spiking Neural Networks (SNNs), inspired by the way the human brain codes and processes information, offer a potential solution to these difficulties. However, their performance in object detection using event cameras is limited in current implementations. In this paper, we propose the Spiking Fusion Object Detector (SFOD), a simple and efficient approach to SNN-based object detection. Specifically, we design a Spiking Fusion Module, achieving the first-time fusion of feature maps from different scales in SNNs applied to event cameras. Additionally, through integrating our analysis and experiments conducted during the pretraining of the backbone network on the NCAR dataset, we delve deeply into the impact of spiking decoding strategies and loss functions on model performance. Thereby, we establish state-of-the-art classification results based on SNNs, achieving 93.7\% accuracy on the NCAR dataset. Experimental results on the GEN1 detection dataset demonstrate that the SFOD achieves a state-of-the-art mAP of 32.1\%, outperforming existing SNN-based approaches. Our research not only underscores the potential of SNNs in object detection with event cameras but also propels the advancement of SNNs. Code is available at https://github.com/yimeng-fan/SFOD.
- Abstract(参考訳): イベントカメラは、高時間分解能、高ダイナミックレンジ、低消費電力、高ピクセル帯域で特徴付けられる。
これらの利点にもかかわらず、イベントデータの本質的にの疎さと非同期性は、既存のオブジェクト検出アルゴリズムに課題をもたらす。
人間の脳が情報をコードし処理する方法に触発されたスパイキングニューラルネットワーク(SNN)は、これらの困難に対する潜在的な解決策を提供する。
しかし、イベントカメラを用いたオブジェクト検出の性能は、現在の実装では制限されている。
本稿では,SNNを用いたオブジェクト検出のための簡易かつ効率的な手法であるSpking Fusion Object Detector (SFOD)を提案する。
具体的には、イベントカメラに適用されたSNNにおいて、異なるスケールのフィーチャーマップを初めて融合させるSpking Fusion Moduleを設計する。
さらに、NCARデータセット上でバックボーンネットワークの事前トレーニング中に実施した分析と実験を統合することにより、スパイキングデコード戦略と損失関数がモデル性能に与える影響を深く掘り下げる。
これにより、SNNに基づいて最先端の分類結果を確立し、NCARデータセット上で93.7%の精度を達成する。
GEN1検出データセットの実験結果は、SFODが32.1\%の最先端のmAPを達成し、既存のSNNベースのアプローチより優れていることを示している。
我々の研究は、イベントカメラによる物体検出におけるSNNの可能性だけでなく、SNNの進歩も示している。
コードはhttps://github.com/yimeng-fan/SFOD.comで入手できる。
関連論文リスト
- BAM: Box Abstraction Monitors for Real-time OoD Detection in Object Detection [8.206992765692535]
ディープニューラルネットワーク(DNN)のアウト・オブ・ディストリビューション(OoD)検出技術は、安全クリティカルなアプリケーションにおいて不可欠である。
本稿では,オブジェクト検出DNNにおける再トレーニングやアーキテクチャの変更を必要としない,単純かつ驚くほど効果的な手法を提案する。
論文 参考訳(メタデータ) (2024-03-27T09:10:01Z) - Innovative Horizons in Aerial Imagery: LSKNet Meets DiffusionDet for
Advanced Object Detection [55.2480439325792]
本稿では,LSKNetのバックボーンをDiffusionDetヘッドに統合したオブジェクト検出モデルの詳細な評価を行う。
提案手法は平均精度(MAP)を約45.7%向上させる。
この進歩は、提案された修正の有効性を強調し、航空画像解析の新しいベンチマークを設定する。
論文 参考訳(メタデータ) (2023-11-21T19:49:13Z) - Enabling energy-Efficient object detection with surrogate gradient
descent in spiking neural networks [0.40054215937601956]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、イベント駆動処理と処理時情報の両方において、生物学的にもっとも有効なニューラルネットワークモデルである。
本研究では,オブジェクト検出タスクにおける深部SNNのトレーニングを容易にするために,回帰問題を解くCurrent Mean Decoding(CMD)手法を提案する。
勾配サロゲートとCMDに基づいて,物体検出のためのSNN-YOLOv3モデルを提案する。
論文 参考訳(メタデータ) (2023-09-07T15:48:00Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳(メタデータ) (2023-07-20T16:00:19Z) - Object Detection with Spiking Neural Networks on Automotive Event Data [0.0]
我々は、イベントカメラから直接スパイキングニューラルネットワーク(SNN)を訓練し、高速で効率的な自動車組込みアプリケーションを設計することを提案する。
本稿では,2つの自動車イベントデータセットの実験を行い,スパイクニューラルネットワークのための最先端の分類結果を確立した。
論文 参考訳(メタデータ) (2022-05-09T14:39:47Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-06T23:45:58Z) - Abstraction and Symbolic Execution of Deep Neural Networks with Bayesian
Approximation of Hidden Features [8.723426955657345]
本稿では,ディープニューラルネットワークとデータセットをベイズネットワークに抽象化する新しい抽象化手法を提案する。
我々は,DNNの隠蔽層から学習した隠れ特徴を特定するために,次元削減技術を利用している。
運用時間に稀な入力を検出するランタイム監視アプローチを導出できる。
論文 参考訳(メタデータ) (2021-03-05T14:28:42Z) - Broad Area Search and Detection of Surface-to-Air Missile Sites Using
Spatial Fusion of Component Object Detections from Deep Neural Networks [7.24548168665473]
複数またはコンポーネントオブジェクトのディープニューラルネットワーク(DNN)検出は、より大きな複雑な機能の検索、検出、検索(ランク付け)を改善するために空間的に融合することができる。
本手法は中国における9万km2の地表面対空ミサイル(SAM)の広い地域探索と検出に有効であることを示す。
論文 参考訳(メタデータ) (2020-03-23T22:10:19Z) - Real-Time High-Performance Semantic Image Segmentation of Urban Street
Scenes [98.65457534223539]
都市景観のロバストなセマンティックセマンティックセグメンテーションのためのリアルタイムDCNNに基づく高速DCNN手法を提案する。
提案手法は, 51.0 fps と 39.3 fps の推論速度で, 平均 73.6% と平均 68.0% (mIoU) の精度を実現する。
論文 参考訳(メタデータ) (2020-03-11T08:45:53Z) - Depthwise Non-local Module for Fast Salient Object Detection Using a
Single Thread [136.2224792151324]
本稿では,高速な物体検出のための新しいディープラーニングアルゴリズムを提案する。
提案アルゴリズムは,1つのCPUスレッドと同時に,競合精度と高い推論効率を実現する。
論文 参考訳(メタデータ) (2020-01-22T15:23:48Z) - Adaptive Anomaly Detection for IoT Data in Hierarchical Edge Computing [71.86955275376604]
本稿では,階層型エッジコンピューティング(HEC)システムに対する適応型異常検出手法を提案する。
本研究では,入力データから抽出した文脈情報に基づいてモデルを選択する適応的手法を設計し,異常検出を行う。
提案手法を実際のIoTデータセットを用いて評価し,検出タスクをクラウドにオフロードするのとほぼ同じ精度を維持しながら,検出遅延を84%削減できることを実証した。
論文 参考訳(メタデータ) (2020-01-10T05:29:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。