論文の概要: ContextualFusion: Context-Based Multi-Sensor Fusion for 3D Object Detection in Adverse Operating Conditions
- arxiv url: http://arxiv.org/abs/2404.14780v1
- Date: Tue, 23 Apr 2024 06:37:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 15:00:46.312489
- Title: ContextualFusion: Context-Based Multi-Sensor Fusion for 3D Object Detection in Adverse Operating Conditions
- Title(参考訳): コンテキストフュージョン: 逆操作条件下での3次元物体検出のためのコンテキストベースマルチセンサフュージョン
- Authors: Shounak Sural, Nishad Sahu, Ragunathan, Rajkumar,
- Abstract要約: 本研究では,3次元物体検出モデルにカメラやライダーの知識を取り入れたContextualFusionという手法を提案する。
我々の手法は、文脈バランスの取れた合成データセットの最先端手法に対して6.2%のmAP改善をもたらす。
本手法は,実世界のNuScenesデータセット上での夜間の3D対物性能を11.7%向上させる。
- 参考スコア(独自算出の注目度): 1.7537812081430004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The fusion of multimodal sensor data streams such as camera images and lidar point clouds plays an important role in the operation of autonomous vehicles (AVs). Robust perception across a range of adverse weather and lighting conditions is specifically required for AVs to be deployed widely. While multi-sensor fusion networks have been previously developed for perception in sunny and clear weather conditions, these methods show a significant degradation in performance under night-time and poor weather conditions. In this paper, we propose a simple yet effective technique called ContextualFusion to incorporate the domain knowledge about cameras and lidars behaving differently across lighting and weather variations into 3D object detection models. Specifically, we design a Gated Convolutional Fusion (GatedConv) approach for the fusion of sensor streams based on the operational context. To aid in our evaluation, we use the open-source simulator CARLA to create a multimodal adverse-condition dataset called AdverseOp3D to address the shortcomings of existing datasets being biased towards daytime and good-weather conditions. Our ContextualFusion approach yields an mAP improvement of 6.2% over state-of-the-art methods on our context-balanced synthetic dataset. Finally, our method enhances state-of-the-art 3D objection performance at night on the real-world NuScenes dataset with a significant mAP improvement of 11.7%.
- Abstract(参考訳): カメラ画像やライダー点雲などのマルチモーダルセンサデータストリームの融合は、自動運転車(AV)の運用において重要な役割を果たす。
様々な悪天候や照明条件に対するロバストな認識は、AVを広く展開するために特に必要である。
日中・晴れた天候下での認識のためにマルチセンサフュージョンネットワークがこれまで開発されてきたが、これらの手法は夜間および悪天候下での性能が著しく低下していることを示している。
本稿では、照明や天候の変動によって異なるカメラやライダーのドメイン知識を3次元物体検出モデルに組み込む、ContextualFusionと呼ばれるシンプルで効果的な手法を提案する。
具体的には,センサストリームの融合のためのGated Convolutional Fusion (GatedConv) アプローチを運用状況に基づいて設計する。
評価を支援するため、オープンソースのシミュレータCARLAを用いて、AdverseOp3Dと呼ばれるマルチモーダルな悪条件データセットを作成し、既存のデータセットが日中や天気に偏っているという欠点に対処する。
我々のContextualFusionアプローチは、文脈バランスの取れた合成データセットにおける最先端の手法よりも6.2%のmAP改善をもたらす。
最後に,本手法は,実世界のNuScenesデータセット上での夜間の最先端3D対物性能を11.7%向上させる。
関連論文リスト
- OccFusion: A Straightforward and Effective Multi-Sensor Fusion Framework for 3D Occupancy Prediction [11.33083039877258]
本稿では,3次元占有率を予測するための簡易かつ効率的なセンサ融合フレームワークであるOccFusionを紹介する。
ライダーやサラウンドビューレーダなどの付加センサの機能を統合することで、我々のフレームワークは占有率予測の精度と堅牢性を高めることができる。
論文 参考訳(メタデータ) (2024-03-03T23:46:06Z) - Improving Robustness of LiDAR-Camera Fusion Model against Weather
Corruption from Fusion Strategy Perspective [26.391161934274876]
LiDAR-カメラ融合モデルには、自律運転における高度な3Dオブジェクト検出タスクがある。
霧、雨、雪、日光といった 一般的な悪天候に対する頑丈さは 未発見のままです
本稿では,核融合モデルの堅牢性を高めるために,簡潔かつ実用的な核融合戦略を提案する。
論文 参考訳(メタデータ) (2024-02-05T05:38:50Z) - Radar Enlighten the Dark: Enhancing Low-Visibility Perception for
Automated Vehicles with Camera-Radar Fusion [8.946655323517094]
低視認性条件に対処するために,トランスフォーマーを用いた新しい3次元オブジェクト検出モデル"REDFormer"を提案する。
我々のモデルは、分類と検出精度で最先端(SOTA)モデルより優れている。
論文 参考訳(メタデータ) (2023-05-27T00:47:39Z) - Embracing Compact and Robust Architectures for Multi-Exposure Image
Fusion [50.598654017728045]
本稿では,堅牢なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを含む探索型パラダイムを提案する。
シーンリライティングと変形可能な畳み込みを利用して、カメラの動きに拘わらず、画像を正確に調整することができる。
我々は、様々な競争方式と比較して最先端の性能を実現し、一般的なシナリオと不整合シナリオに対するPSNRの4.02%と29.34%の改善を実現した。
論文 参考訳(メタデータ) (2023-05-20T17:01:52Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳(メタデータ) (2022-05-30T09:35:37Z) - TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with
Transformers [49.689566246504356]
そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。
TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。
提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
論文 参考訳(メタデータ) (2022-03-22T07:15:13Z) - DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。
我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
論文 参考訳(メタデータ) (2022-03-15T18:46:06Z) - Fog Simulation on Real LiDAR Point Clouds for 3D Object Detection in
Adverse Weather [92.84066576636914]
本研究は,霧の天候下でのLiDARによる3次元物体検出の課題に対処する。
我々は、物理的に正確な霧をクリア・ウェザー・シーンにシミュレートすることでこの問題に対処する。
Seeing Through Fogデータセットに強力な3Dオブジェクト検出ベースラインを提供するのはこれが初めてです。
論文 参考訳(メタデータ) (2021-08-11T14:37:54Z) - Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of
Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。
降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文 参考訳(メタデータ) (2021-07-14T21:10:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。