論文の概要: Drone-based RGB-Infrared Cross-Modality Vehicle Detection via
Uncertainty-Aware Learning
- arxiv url: http://arxiv.org/abs/2003.02437v2
- Date: Thu, 14 Oct 2021 06:38:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 07:01:47.388853
- Title: Drone-based RGB-Infrared Cross-Modality Vehicle Detection via
Uncertainty-Aware Learning
- Title(参考訳): ドローンを用いた不確実性学習によるRGB赤外線クロスモダリティ車両検出
- Authors: Yiming Sun, Bing Cao, Pengfei Zhu, Qinghua Hu
- Abstract要約: ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。
我々はDroneVehicleと呼ばれる大規模ドローンベースのRGB赤外線車両検出データセットを構築した。
私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
- 参考スコア(独自算出の注目度): 59.19469551774703
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Drone-based vehicle detection aims at finding the vehicle locations and
categories in an aerial image. It empowers smart city traffic management and
disaster rescue. Researchers have made mount of efforts in this area and
achieved considerable progress. Nevertheless, it is still a challenge when the
objects are hard to distinguish, especially in low light conditions. To tackle
this problem, we construct a large-scale drone-based RGB-Infrared vehicle
detection dataset, termed DroneVehicle. Our DroneVehicle collects 28, 439
RGB-Infrared image pairs, covering urban roads, residential areas, parking
lots, and other scenarios from day to night. Due to the great gap between RGB
and infrared images, cross-modal images provide both effective information and
redundant information. To address this dilemma, we further propose an
uncertainty-aware cross-modality vehicle detection (UA-CMDet) framework to
extract complementary information from cross-modal images, which can
significantly improve the detection performance in low light conditions. An
uncertainty-aware module (UAM) is designed to quantify the uncertainty weights
of each modality, which is calculated by the cross-modal Intersection over
Union (IoU) and the RGB illumination value. Furthermore, we design an
illumination-aware cross-modal non-maximum suppression algorithm to better
integrate the modal-specific information in the inference phase. Extensive
experiments on the DroneVehicle dataset demonstrate the flexibility and
effectiveness of the proposed method for crossmodality vehicle detection. The
dataset can be download from https://github.com/VisDrone/DroneVehicle.
- Abstract(参考訳): ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。
スマートシティの交通管理と災害救助を行う。
研究者はこの地域で多くの努力を積み重ね、かなりの進歩を遂げた。
しかし、特に低照度環境では、物体が区別が難しい場合、これは依然として課題である。
この問題に対処するために,ドローンベースのrgb-infrared vehicle detection dataset(dronevehicle)を構築した。
私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
rgb画像と赤外線画像のギャップが大きいため、クロスモーダル画像は効果的な情報と冗長な情報の両方を提供する。
このジレンマに対処するため,低照度条件下での検出性能を著しく向上させることができるクロスモーダル画像から補完情報を抽出する不確実性を考慮したクロスモーダル車両検出(UA-CMDet)フレームワークを提案する。
不確実性認識モジュール(UAM)は、各モダリティの不確実性重みを定量化するために設計されており、これは、IoU(クロスモーダル・インターセクション)とRGB照明値によって計算される。
さらに,照度を考慮したクロスモーダル非最大抑圧アルゴリズムを設計し,推論フェーズにおけるモーダル固有情報をよりよく統合する。
dronevehicleデータセットに関する広範囲な実験により,提案手法の柔軟性と有効性が実証された。
データセットはhttps://github.com/VisDrone/DroneVehicleからダウンロードできる。
関連論文リスト
- Cross-Modal Object Tracking via Modality-Aware Fusion Network and A
Large-Scale Dataset [20.729414075628814]
我々は、Modality-Aware Fusion Network (MAFNet) と呼ばれる適応型クロスモーダル物体追跡アルゴリズムを提案する。
MAFNetは、適応重み付け機構を用いて、RGBとNIRの両方からの情報を効率的に統合する。
論文 参考訳(メタデータ) (2023-12-22T05:22:33Z) - Flare-Aware Cross-modal Enhancement Network for Multi-spectral Vehicle
Re-identification [29.48387524901101]
厳しい環境下では、RGBとNIRモダリティの非ネイティブな手がかりは、車両のランプや日光からの強いフレアによってしばしば失われる。
フレア崩壊したRGBとNIRの特徴をフレア免疫熱赤外スペクトルから誘導して適応的に復元するフレア・アウェア・クロスモーダル・エンハンスメント・ネットワークを提案する。
論文 参考訳(メタデータ) (2023-05-23T04:04:24Z) - Learning Dual-Fused Modality-Aware Representations for RGBD Tracking [67.14537242378988]
従来のRGBオブジェクトトラッキングと比較して、奥行きモードの追加は、ターゲットとバックグラウンドの干渉を効果的に解決することができる。
既存のRGBDトラッカーでは2つのモードを別々に使用しており、特に有用な共有情報は無視されている。
DMTracker(Dual-fused Modality-aware Tracker)を提案する。DMTrackerは,RGBDのロバストな追跡のために,対象対象物の情報的および識別的表現を学習することを目的としている。
論文 参考訳(メタデータ) (2022-11-06T07:59:07Z) - CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient
Object Detection [144.66411561224507]
本稿では,CIR-Netと呼ばれる畳み込みニューラルネットワーク(CNN)モデルを提案する。
我々のネットワークは、定性的かつ定量的に最先端の塩分濃度検出器より優れています。
論文 参考訳(メタデータ) (2022-10-06T11:59:19Z) - Translation, Scale and Rotation: Cross-Modal Alignment Meets
RGB-Infrared Vehicle Detection [10.460296317901662]
空中RGB-IR画像における検出は, クロスモーダルな不整合問題に悩まされている。
本稿では,TSRA (Translation-Scale-Rotation Alignment) モジュールを提案する。
TSRAモジュールに基づく2ストリーム特徴アライメント検出器(TSFADet)は、空中画像におけるRGB-IRオブジェクト検出のために構築されている。
論文 参考訳(メタデータ) (2022-09-28T03:06:18Z) - Infrared Small-Dim Target Detection with Transformer under Complex
Backgrounds [155.388487263872]
変換器を用いた赤外線小径目標検出手法を提案する。
画像特徴の相互作用情報をより広い範囲で学習するために,変換器の自己認識機構を採用する。
最小限のターゲットの機能を学習するための機能拡張モジュールも設計しています。
論文 参考訳(メタデータ) (2021-09-29T12:23:41Z) - Comparison of Object Detection Algorithms Using Video and Thermal Images
Collected from a UAS Platform: An Application of Drones in Traffic Management [2.9932638148627104]
本研究では、視覚カメラと赤外線カメラの両方のリアルタイム車両検出アルゴリズムについて検討する。
フロリダ州タンパの高速道路沿いのUASプラットフォームから、レッドグリーンブルー(RGB)のビデオと熱画像が収集された。
論文 参考訳(メタデータ) (2021-09-27T16:57:09Z) - Pseudo-LiDAR Based Road Detection [5.9106199000537645]
推論時にのみRGBが入力となる新しい道路検出手法を提案する。
深度推定を用いた擬似LiDARを利用して,RGBと学習深度情報を融合した特徴融合ネットワークを提案する。
提案手法は, KITTI と R2D の2つのベンチマークにおいて,最先端性能を実現する。
論文 参考訳(メタデータ) (2021-07-28T11:21:42Z) - Perception-aware Multi-sensor Fusion for 3D LiDAR Semantic Segmentation [59.42262859654698]
3Dセマンティックセグメンテーションは、自動運転やロボット工学など、多くのアプリケーションにおいてシーン理解において重要である。
既存の融合法は、2つのモードの差が大きいため、有望な性能を達成できない。
本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
論文 参考訳(メタデータ) (2021-06-21T10:47:26Z) - Learning Selective Mutual Attention and Contrast for RGB-D Saliency
Detection [145.4919781325014]
クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。
多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。
本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
論文 参考訳(メタデータ) (2020-10-12T08:50:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。