論文の概要: Neuromorphic Drone Detection: an Event-RGB Multimodal Approach
- arxiv url: http://arxiv.org/abs/2409.16099v1
- Date: Tue, 24 Sep 2024 13:53:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 05:36:51.256162
- Title: Neuromorphic Drone Detection: an Event-RGB Multimodal Approach
- Title(参考訳): ニューロモルフィックドローン検出:イベント-RGBマルチモーダルアプローチ
- Authors: Gabriele Magrini, Federico Becattini, Pietro Pala, Alberto Del Bimbo, Antonio Porta,
- Abstract要約: ニューロモルフィックカメラは、RGBカメラにとって困難な状況において、正確で豊かな時間的情報を保持できる。
マルチモーダルデータを活用することにより,両ドメインを統合化するための新しいモデルを提案する。
NeRDD(Neuromorphic-RGB Drone Detection)もリリースした。
- 参考スコア(独自算出の注目度): 25.26674905726921
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In recent years, drone detection has quickly become a subject of extreme interest: the potential for fast-moving objects of contained dimensions to be used for malicious intents or even terrorist attacks has posed attention to the necessity for precise and resilient systems for detecting and identifying such elements. While extensive literature and works exist on object detection based on RGB data, it is also critical to recognize the limits of such modality when applied to UAVs detection. Detecting drones indeed poses several challenges such as fast-moving objects and scenes with a high dynamic range or, even worse, scarce illumination levels. Neuromorphic cameras, on the other hand, can retain precise and rich spatio-temporal information in situations that are challenging for RGB cameras. They are resilient to both high-speed moving objects and scarce illumination settings, while prone to suffer a rapid loss of information when the objects in the scene are static. In this context, we present a novel model for integrating both domains together, leveraging multimodal data to take advantage of the best of both worlds. To this end, we also release NeRDD (Neuromorphic-RGB Drone Detection), a novel spatio-temporally synchronized Event-RGB Drone detection dataset of more than 3.5 hours of multimodal annotated recordings.
- Abstract(参考訳): 近年、ドローンの検知は急速に関心の的となり、悪意のある意図やテロ攻撃に使用される、封じ込められた範囲の高速移動物体の可能性は、そのような要素を検知し識別するための正確でレジリエントなシステムの必要性に注意を向けている。
RGBデータに基づくオブジェクト検出に関する広範な文献や研究は存在するが、UAV検出に適用した場合、そのようなモダリティの限界を認識することも重要である。
ドローンを検知することは、高速で動く物体や、ダイナミックレンジの高いシーンや、さらに悪いことに照明レベルが低いシーンなど、いくつかの課題を生じさせる。
一方、ニューロモルフィックカメラは、RGBカメラにとって困難な状況において、正確で豊富な時空間情報を保持できる。
高速移動オブジェクトと照明設定の不足の両方に耐性がある一方で、シーン内のオブジェクトが静的である場合には、情報の急激な損失を被る傾向にある。
この文脈では、両領域を統合するための新しいモデルを提案し、両世界の長所を活かすためにマルチモーダルデータを活用する。
この目的のために我々は,新しい時空間同期型Event-RGB Drone DetectionデータセットであるNeRDD(Neuromorphic-RGB Drone Detection)もリリースした。
関連論文リスト
- Detecting Every Object from Events [24.58024539462497]
本稿では,イベントベースの視覚において,クラスに依存しない高速なオープンワールドオブジェクト検出を実現するためのアプローチとして,イベント中のすべてのオブジェクトの検出(DEOE)を提案する。
私たちのコードはhttps://github.com/Hatins/DEOEで公開されています。
論文 参考訳(メタデータ) (2024-04-08T08:20:53Z) - Towards Real-Time Fast Unmanned Aerial Vehicle Detection Using Dynamic Vision Sensors [6.03212980984729]
無人航空機(UAV)は民間や軍事用途で人気を集めている。
UAVの予防と検出は、機密性と安全性を保証するために重要である。
本稿では,F-UAV-D(Fast Unmanned Aerial Vehicle Detector)を提案する。
論文 参考訳(メタデータ) (2024-03-18T15:27:58Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳(メタデータ) (2023-09-29T05:13:43Z) - Multi-Task Cross-Modality Attention-Fusion for 2D Object Detection [6.388430091498446]
レーダとカメラデータの整合性を向上する2つの新しいレーダ前処理手法を提案する。
また,オブジェクト検出のためのMulti-Task Cross-Modality Attention-Fusion Network (MCAF-Net)を導入する。
我々のアプローチは、nuScenesデータセットにおける現在の最先端のレーダーカメラフュージョンベースのオブジェクト検出器よりも優れています。
論文 参考訳(メタデータ) (2023-07-17T09:26:13Z) - DetZero: Rethinking Offboard 3D Object Detection with Long-term
Sequential Point Clouds [55.755450273390004]
既存のオフボード3D検出器は、無限の逐次点雲を利用するために常にモジュラーパイプライン設計に従っている。
その結果, 物体の運動状態は, 物体中心の精製段階において必然的な課題となること, 物体の運動状態は, 物体軌道を十分に生成できないこと, 物体中心の精製段階において必然的な課題となること, の2つの理由から, オフボード型3D検出器の完全なポテンシャルは明らかにされていないことがわかった。
これらの問題に対処するために,DetZero という,オフボード型3次元物体検出の新たなパラダイムを提案する。
論文 参考訳(メタデータ) (2023-06-09T16:42:00Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳(メタデータ) (2023-03-17T12:12:41Z) - Radar Guided Dynamic Visual Attention for Resource-Efficient RGB Object
Detection [10.983063391496543]
自動運転車の認識品質を向上させるために,RGB画像に対する新しいレーダー誘導空間アテンションを提案する。
提案手法は,RGBモードの物体検出装置では検出されない小型・長距離物体の知覚を改善する。
論文 参考訳(メタデータ) (2022-06-03T18:29:55Z) - SCRDet++: Detecting Small, Cluttered and Rotated Objects via
Instance-Level Feature Denoising and Rotation Loss Smoothing [131.04304632759033]
小さくて散らばった物体は実世界では一般的であり、検出は困難である。
本稿では,まず,物体検出にデノナイズするアイデアを革新的に紹介する。
機能マップ上のインスタンスレベルの記述は、小さくて散らばったオブジェクトの検出を強化するために行われる。
論文 参考訳(メタデータ) (2020-04-28T06:03:54Z) - Drone-based RGB-Infrared Cross-Modality Vehicle Detection via
Uncertainty-Aware Learning [59.19469551774703]
ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。
我々はDroneVehicleと呼ばれる大規模ドローンベースのRGB赤外線車両検出データセットを構築した。
私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
論文 参考訳(メタデータ) (2020-03-05T05:29:44Z) - Detection and Tracking Meet Drones Challenge [131.31749447313197]
本稿では、オブジェクト検出・追跡データセットとベンチマークのレビューを行い、手動アノテーションによる大規模ドローンによるオブジェクト検出・追跡データセットの収集の課題について論じる。
当社のVisDroneデータセットは、中国北部から南部にかけての14の都市部と郊外部で収集されたものです。
本稿では,ドローンにおける大規模物体検出・追跡の現場の現状を詳細に分析し,今後の方向性を提案するとともに,課題を結論づける。
論文 参考訳(メタデータ) (2020-01-16T00:11:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。