論文の概要: Drone-based RGB-Infrared Cross-Modality Vehicle Detection via
Uncertainty-Aware Learning
- arxiv url: http://arxiv.org/abs/2003.02437v2
- Date: Thu, 14 Oct 2021 06:38:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 07:01:47.388853
- Title: Drone-based RGB-Infrared Cross-Modality Vehicle Detection via
Uncertainty-Aware Learning
- Title(参考訳): ドローンを用いた不確実性学習によるRGB赤外線クロスモダリティ車両検出
- Authors: Yiming Sun, Bing Cao, Pengfei Zhu, Qinghua Hu
- Abstract要約: ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。
我々はDroneVehicleと呼ばれる大規模ドローンベースのRGB赤外線車両検出データセットを構築した。
私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
- 参考スコア(独自算出の注目度): 59.19469551774703
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Drone-based vehicle detection aims at finding the vehicle locations and
categories in an aerial image. It empowers smart city traffic management and
disaster rescue. Researchers have made mount of efforts in this area and
achieved considerable progress. Nevertheless, it is still a challenge when the
objects are hard to distinguish, especially in low light conditions. To tackle
this problem, we construct a large-scale drone-based RGB-Infrared vehicle
detection dataset, termed DroneVehicle. Our DroneVehicle collects 28, 439
RGB-Infrared image pairs, covering urban roads, residential areas, parking
lots, and other scenarios from day to night. Due to the great gap between RGB
and infrared images, cross-modal images provide both effective information and
redundant information. To address this dilemma, we further propose an
uncertainty-aware cross-modality vehicle detection (UA-CMDet) framework to
extract complementary information from cross-modal images, which can
significantly improve the detection performance in low light conditions. An
uncertainty-aware module (UAM) is designed to quantify the uncertainty weights
of each modality, which is calculated by the cross-modal Intersection over
Union (IoU) and the RGB illumination value. Furthermore, we design an
illumination-aware cross-modal non-maximum suppression algorithm to better
integrate the modal-specific information in the inference phase. Extensive
experiments on the DroneVehicle dataset demonstrate the flexibility and
effectiveness of the proposed method for crossmodality vehicle detection. The
dataset can be download from https://github.com/VisDrone/DroneVehicle.
- Abstract(参考訳): ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。
スマートシティの交通管理と災害救助を行う。
研究者はこの地域で多くの努力を積み重ね、かなりの進歩を遂げた。
しかし、特に低照度環境では、物体が区別が難しい場合、これは依然として課題である。
この問題に対処するために,ドローンベースのrgb-infrared vehicle detection dataset(dronevehicle)を構築した。
私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
rgb画像と赤外線画像のギャップが大きいため、クロスモーダル画像は効果的な情報と冗長な情報の両方を提供する。
このジレンマに対処するため,低照度条件下での検出性能を著しく向上させることができるクロスモーダル画像から補完情報を抽出する不確実性を考慮したクロスモーダル車両検出(UA-CMDet)フレームワークを提案する。
不確実性認識モジュール(UAM)は、各モダリティの不確実性重みを定量化するために設計されており、これは、IoU(クロスモーダル・インターセクション)とRGB照明値によって計算される。
さらに,照度を考慮したクロスモーダル非最大抑圧アルゴリズムを設計し,推論フェーズにおけるモーダル固有情報をよりよく統合する。
dronevehicleデータセットに関する広範囲な実験により,提案手法の柔軟性と有効性が実証された。
データセットはhttps://github.com/VisDrone/DroneVehicleからダウンロードできる。
関連論文リスト
- Neuromorphic Drone Detection: an Event-RGB Multimodal Approach [25.26674905726921]
ニューロモルフィックカメラは、RGBカメラにとって困難な状況において、正確で豊かな時間的情報を保持できる。
マルチモーダルデータを活用することにより,両ドメインを統合化するための新しいモデルを提案する。
NeRDD(Neuromorphic-RGB Drone Detection)もリリースした。
論文 参考訳(メタデータ) (2024-09-24T13:53:20Z) - Enhanced Automotive Object Detection via RGB-D Fusion in a DiffusionDet Framework [0.0]
視覚に基づく自律走行には、信頼性と効率的な物体検出が必要である。
本研究では、単眼カメラと深度センサからのデータ融合を利用してRGBと深度(RGB-D)データを提供するDiffusionDetベースのフレームワークを提案する。
RGB画像のテクスチャ特徴と色特徴とLiDARセンサの空間深度情報を統合することにより,自動車目標の物体検出を大幅に強化する特徴融合が提案されている。
論文 参考訳(メタデータ) (2024-06-05T10:24:00Z) - Removal then Selection: A Coarse-to-Fine Fusion Perspective for RGB-Infrared Object Detection [20.12812979315803]
可視光(RGB)と熱赤外(IR)画像の両方を利用した物体検出が注目されている。
既存の多くのマルチモーダルオブジェクト検出手法は、RGBとIR画像をディープニューラルネットワークに直接入力する。
両モダリティから特徴を浄化・融合する新しい粗大な視点を提案する。
論文 参考訳(メタデータ) (2024-01-19T14:49:42Z) - Symmetric Uncertainty-Aware Feature Transmission for Depth
Super-Resolution [52.582632746409665]
カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。
本手法は最先端の手法と比較して優れた性能を実現する。
論文 参考訳(メタデータ) (2023-06-01T06:35:59Z) - Learning Dual-Fused Modality-Aware Representations for RGBD Tracking [67.14537242378988]
従来のRGBオブジェクトトラッキングと比較して、奥行きモードの追加は、ターゲットとバックグラウンドの干渉を効果的に解決することができる。
既存のRGBDトラッカーでは2つのモードを別々に使用しており、特に有用な共有情報は無視されている。
DMTracker(Dual-fused Modality-aware Tracker)を提案する。DMTrackerは,RGBDのロバストな追跡のために,対象対象物の情報的および識別的表現を学習することを目的としている。
論文 参考訳(メタデータ) (2022-11-06T07:59:07Z) - CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient
Object Detection [144.66411561224507]
本稿では,CIR-Netと呼ばれる畳み込みニューラルネットワーク(CNN)モデルを提案する。
我々のネットワークは、定性的かつ定量的に最先端の塩分濃度検出器より優れています。
論文 参考訳(メタデータ) (2022-10-06T11:59:19Z) - Translation, Scale and Rotation: Cross-Modal Alignment Meets
RGB-Infrared Vehicle Detection [10.460296317901662]
空中RGB-IR画像における検出は, クロスモーダルな不整合問題に悩まされている。
本稿では,TSRA (Translation-Scale-Rotation Alignment) モジュールを提案する。
TSRAモジュールに基づく2ストリーム特徴アライメント検出器(TSFADet)は、空中画像におけるRGB-IRオブジェクト検出のために構築されている。
論文 参考訳(メタデータ) (2022-09-28T03:06:18Z) - Infrared Small-Dim Target Detection with Transformer under Complex
Backgrounds [155.388487263872]
変換器を用いた赤外線小径目標検出手法を提案する。
画像特徴の相互作用情報をより広い範囲で学習するために,変換器の自己認識機構を採用する。
最小限のターゲットの機能を学習するための機能拡張モジュールも設計しています。
論文 参考訳(メタデータ) (2021-09-29T12:23:41Z) - Comparison of Object Detection Algorithms Using Video and Thermal Images
Collected from a UAS Platform: An Application of Drones in Traffic Management [2.9932638148627104]
本研究では、視覚カメラと赤外線カメラの両方のリアルタイム車両検出アルゴリズムについて検討する。
フロリダ州タンパの高速道路沿いのUASプラットフォームから、レッドグリーンブルー(RGB)のビデオと熱画像が収集された。
論文 参考訳(メタデータ) (2021-09-27T16:57:09Z) - Learning Selective Mutual Attention and Contrast for RGB-D Saliency
Detection [145.4919781325014]
クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。
多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。
本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
論文 参考訳(メタデータ) (2020-10-12T08:50:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。