論文の概要: ThermRad: A Multi-modal Dataset for Robust 3D Object Detection under
Challenging Conditions
- arxiv url: http://arxiv.org/abs/2308.10161v3
- Date: Tue, 12 Sep 2023 09:45:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 16:40:21.941230
- Title: ThermRad: A Multi-modal Dataset for Robust 3D Object Detection under
Challenging Conditions
- Title（参考訳）: ThermRad: 混在条件下でのロバスト3次元物体検出のためのマルチモーダルデータセット
- Authors: Qiao Yan, Yihan Wang
- Abstract要約: ThermRadと呼ばれる新しいマルチモーダルデータセットは、3D LiDAR、4Dレーダー、RGBカメラ、サーマルカメラを含む。
本研究では4次元レーダーとサーマルカメラの相補的な強度を利用して物体検出性能を向上させるRTDF-RCNNと呼ばれる新しいマルチモーダル融合法を提案する。
本手法は,自動車,歩行者,自転車の検出において,それぞれ7.98%,24.27%,27.15%以上の改善を実現している。
- 参考スコア（独自算出の注目度）: 15.925365473140479
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robust 3D object detection in extreme weather and illumination conditions is
a challenging task. While radars and thermal cameras are known for their
resilience to these conditions, few studies have been conducted on
radar-thermal fusion due to the lack of corresponding datasets. To address this
gap, we first present a new multi-modal dataset called ThermRad, which includes
a 3D LiDAR, a 4D radar, an RGB camera and a thermal camera. This dataset is
unique because it includes data from all four sensors in extreme weather
conditions, providing a valuable resource for future research in this area. To
validate the robustness of 4D radars and thermal cameras for 3D object
detection in challenging weather conditions, we propose a new multi-modal
fusion method called RTDF-RCNN, which leverages the complementary strengths of
4D radars and thermal cameras to boost object detection performance. To further
prove the effectiveness of our proposed framework, we re-implement
state-of-the-art (SOTA) 3D detectors on our dataset as benchmarks for
evaluation. Our method achieves significant enhancements in detecting cars,
pedestrians, and cyclists, with improvements of over 7.98%, 24.27%, and 27.15%,
respectively, while achieving comparable results to LiDAR-based approaches. Our
contributions in both the ThermRad dataset and the new multi-modal fusion
method provide a new approach to robust 3D object detection in adverse weather
and illumination conditions. The ThermRad dataset will be released.
- Abstract（参考訳）: 極度の天候と照明条件下でのロバストな3D物体検出は難しい課題である。
レーダーとサーマルカメラはこれらの条件に対する弾力性で知られているが、対応するデータセットがないため、レーダー熱融合の研究はほとんど行われていない。
このギャップに対処するために、まず3D LiDAR、4Dレーダー、RGBカメラ、サーマルカメラを含む、ThermRadと呼ばれる新しいマルチモーダルデータセットを提示する。
このデータセットは、極度の気象条件下で4つのセンサー全てからのデータを含んでいるため、この領域における将来の研究に貴重なリソースを提供する。
そこで本研究では, RTDF-RCNNと呼ばれる, 4次元レーダとサーマルカメラの相補的強度を利用して, 物体検出性能を向上させるマルチモーダル融合法を提案する。
提案手法の有効性をさらに証明するため, 評価のためのベンチマークとして, データセット上にSOTA(State-of-the-art)3D検出器を再実装した。
提案手法は,車,歩行者,自転車の検知において,それぞれ7.98%,24.27%,27.15%以上の改善を達成し,LiDARによるアプローチと同等の結果を得た。
ThermRadデータセットと新しいマルチモーダル融合法への我々の貢献は、悪天候や照明条件下での堅牢な3次元物体検出に新しいアプローチを提供する。
ThermRadデータセットがリリースされる。
関連論文リスト
- L4DR: LiDAR-4DRadar Fusion for Weather-Robust 3D Object Detection [24.568605267098317]
L4DRは,LiDARと4Dレーダ融合を効果的に実現する3次元物体検出法である。
我々のL4DRには、センサギャップを再現するためのマルチモーダルMMEとフォアグラウンド・アウェア・デノナイジング(FAD)技術が含まれています。
霧のレベルによってパフォーマンスが大幅に向上し、3D mAPは従来のLiDARのみのアプローチよりも最大20.0%向上した。
論文 参考訳（メタデータ） (2024-08-07T10:36:26Z) - Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。
本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。
3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
論文 参考訳（メタデータ） (2024-04-10T03:54:53Z) - Better Monocular 3D Detectors with LiDAR from the Past [64.6759926054061]
カメラベースの3D検出器は、画像の奥行きのあいまいさのため、LiDARベースの検出器に比べて性能が劣ることが多い。
本研究では,未ラベルの歴史的LiDARデータを活用することにより,単分子3D検出器の改良を図る。
複数の最先端モデルやデータセットに対して,9.66ミリ秒の追加レイテンシとストレージコストの低い,一貫性と大幅なパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2024-04-08T01:38:43Z) - CR3DT: Camera-RADAR Fusion for 3D Detection and Tracking [40.630532348405595]
Camera-RADAR 3D Detection and Tracking (CR3DT)は3Dオブジェクト検出のためのカメラ・レーダ融合モデルであり、Multi-Object Tracking (MOT) である。
State-of-the-Art (SotA)カメラ専用のBEVDetアーキテクチャの基礎の上に構築されたCR3DTは、検出機能とトラッキング機能の両方で大幅に改善されている。
論文 参考訳（メタデータ） (2024-03-22T16:06:05Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳（メタデータ） (2023-08-21T10:38:32Z) - SMURF: Spatial Multi-Representation Fusion for 3D Object Detection with
4D Imaging Radar [12.842457981088378]
本稿では,単一4次元イメージングレーダを用いた新しい3次元物体検出手法である空間多重表現融合(SMURF)を提案する。
SMURFは、狭角分解能とレーダ信号のマルチパス伝搬による測定精度の低下を緩和する。
The experimental evaluations on View-of-Delft (VoD) and TJ4DRadSet datasets showed the effective and generalization ability of SMURF。
論文 参考訳（メタデータ） (2023-07-20T11:33:46Z) - Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object
Detection [78.59426158981108]
この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。
我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2023-06-02T10:57:41Z) - CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for
Robust 3D Object Detection [12.557361522985898]
本稿では,カメラとレーダーの読み取りを3次元空間に融合させるカメラレーダマッチングネットワークCramNetを提案する。
本手法は, カメラやレーダセンサが車両内で突然故障した場合においても, 頑健な3次元物体検出を実現するセンサモダリティ・ドロップアウトによるトレーニングを支援する。
論文 参考訳（メタデータ） (2022-10-17T17:18:47Z) - K-Radar: 4D Radar Object Detection for Autonomous Driving in Various
Weather Conditions [9.705678194028895]
KAIST-Radarは、新しい大規模オブジェクト検出データセットとベンチマークである。
4次元レーダーテンソル(4DRT)データの35Kフレームを含み、ドップラー、レンジ、方位、標高の寸法に沿って電力の測定を行う。
我々は、慎重に校正された高分解能ライダー、サラウンドステレオカメラ、RTK-GPSから補助的な測定を行う。
論文 参考訳（メタデータ） (2022-06-16T13:39:21Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳（メタデータ） (2022-05-30T09:35:37Z) - Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。
レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。
実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
論文 参考訳（メタデータ） (2020-09-30T19:01:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。