Fugu-MT 論文翻訳(概要): Improving Robustness of LiDAR-Camera Fusion Model against Weather Corruption from Fusion Strategy Perspective

論文の概要: Improving Robustness of LiDAR-Camera Fusion Model against Weather Corruption from Fusion Strategy Perspective

arxiv url: http://arxiv.org/abs/2402.02738v1
Date: Mon, 5 Feb 2024 05:38:50 GMT
ステータス: 処理完了
システム内更新日: 2024-02-06 17:49:38.326644
Title: Improving Robustness of LiDAR-Camera Fusion Model against Weather Corruption from Fusion Strategy Perspective
Title（参考訳）: lidarカメラ核融合モデルのロバスト性向上 : 核融合戦略の観点から
Authors: Yihao Huang, Kaiyuan Yu, Qing Guo, Felix Juefei-Xu, Xiaojun Jia, Tianlin Li, Geguang Pu, Yang Liu
Abstract要約: LiDAR-カメラ融合モデルには、自律運転における高度な3Dオブジェクト検出タスクがある。霧、雨、雪、日光といった一般的な悪天候に対する頑丈さは未発見のままです本稿では,核融合モデルの堅牢性を高めるために,簡潔かつ実用的な核融合戦略を提案する。
参考スコア（独自算出の注目度）: 26.391161934274876
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent years, LiDAR-camera fusion models have markedly advanced 3D object detection tasks in autonomous driving. However, their robustness against common weather corruption such as fog, rain, snow, and sunlight in the intricate physical world remains underexplored. In this paper, we evaluate the robustness of fusion models from the perspective of fusion strategies on the corrupted dataset. Based on the evaluation, we further propose a concise yet practical fusion strategy to enhance the robustness of the fusion models, namely flexibly weighted fusing features from LiDAR and camera sources to adapt to varying weather scenarios. Experiments conducted on four types of fusion models, each with two distinct lightweight implementations, confirm the broad applicability and effectiveness of the approach.
Abstract（参考訳）: 近年、LiDARカメラ融合モデルでは、自律運転における3次元物体検出タスクが著しく進歩している。しかし、複雑な物理的世界の霧、雨、雪、日光といった一般的な気象汚染に対する頑健さは未調査のままである。本稿では,崩壊したデータセットの融合戦略の観点から,融合モデルのロバスト性を評価する。この評価に基づき,LiDARおよびカメラ源からのフレキシブルに重み付けされたヒューズ機能により,様々な気象シナリオに適応し,融合モデルの堅牢性を高めるための簡潔かつ実用的な融合戦略を提案する。異なる2つの軽量実装を持つ4種類の融合モデルによる実験により、アプローチの適用性と有効性が確認された。

関連論文リスト

Progressive Multi-Modal Fusion for Robust 3D Object Detection [12.048303829428452]
既存の方法は、バードアイビュー(BEV)とパースペクティブビュー(PV)の両方のモードから特徴を投影することで、単一ビューでセンサフュージョンを実行する。本稿では,中間クエリレベルとオブジェクトクエリレベルの両方で,BEVとPVの両方の機能を組み合わせたプログレッシブフュージョンフレームワークProFusion3Dを提案する。我々のアーキテクチャは、局所的およびグローバルな特徴を融合させ、3次元オブジェクト検出の堅牢性を高める。
論文参考訳（メタデータ） (2024-10-09T22:57:47Z)
ContextualFusion: Context-Based Multi-Sensor Fusion for 3D Object Detection in Adverse Operating Conditions [1.7537812081430004]
本研究では,3次元物体検出モデルにカメラやライダーの知識を取り入れたContextualFusionという手法を提案する。我々の手法は、文脈バランスの取れた合成データセットの最先端手法に対して6.2%のmAP改善をもたらす。本手法は,実世界のNuScenesデータセット上での夜間の3D対物性能を11.7%向上させる。
論文参考訳（メタデータ） (2024-04-23T06:37:54Z)
SupFusion: Supervised LiDAR-Camera Fusion for 3D Object Detection [22.683446326326898]
SupFusionはLiDAR-Camera融合のための補助的な機能レベルの監視を提供する。ディープフュージョンモジュールは、従来のフュージョン法に比べて連続的に優れた性能を得る。複数のLiDAR-Camera 3D検出器をベースとしたKITTIベンチマークでは,約2%の3D mAP改善が得られた。
論文参考訳（メタデータ） (2023-09-13T16:52:23Z)
MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
論文参考訳（メタデータ） (2023-07-18T11:26:02Z)
Fusion is Not Enough: Single Modal Attacks on Fusion Models for 3D Object Detection [33.0406308223244]
本稿では,高度なカメラ-LiDAR融合型3次元物体検出モデルを対象として,カメラ専用対向攻撃による攻撃フレームワークを提案する。提案手法では,2段階の最適化手法を用いて,まず,敵対的攻撃下での脆弱な画像領域を徹底的に評価する。
論文参考訳（メタデータ） (2023-04-28T03:39:00Z)
CrossFusion: Interleaving Cross-modal Complementation for Noise-resistant 3D Object Detection [7.500487420385808]
本稿では, カメラとLiDARの機能を完全に活用し, クロスモーダル補間戦略を設計した, より堅牢で耐雑音性のあるスキームを提案する。提案手法は, 設定条件下での最先端の手法より優れるだけでなく, 特定の故障シナリオに対して再学習することなく, モデルの耐雑音性を実証する。
論文参考訳（メタデータ） (2023-04-19T14:35:16Z)
MSMDFusion: Fusing LiDAR and Camera at Multiple Scales with Multi-Depth Seeds for 3D Object Detection [89.26380781863665]
自律運転システムにおける高精度で信頼性の高い3次元物体検出を実現するためには,LiDARとカメラ情報の融合が不可欠である。近年のアプローチでは、2次元カメラ画像の3次元空間への昇華点によるカメラ特徴のセマンティックな密度の探索が試みられている。マルチグラニュラリティLiDARとカメラ機能とのマルチスケールなプログレッシブインタラクションに焦点を当てた,新しいフレームワークを提案する。
論文参考訳（メタデータ） (2022-09-07T12:29:29Z)
Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。我々は、最先端の核融合法を初めてベンチマークした。
論文参考訳（メタデータ） (2022-05-30T09:35:37Z)
TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers [49.689566246504356]
そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。 TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
論文参考訳（メタデータ） (2022-03-22T07:15:13Z)
EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection [56.03081616213012]
本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。 KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
論文参考訳（メタデータ） (2021-12-21T10:48:34Z)
LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic Segmentation [78.74202673902303]
本稿では,LiDAR分割のための粗大なLiDARとカメラフュージョンベースネットワーク(LIF-Seg)を提案する。提案手法は,画像の文脈情報を完全に活用し,単純だが効果的な早期融合戦略を導入する。これら2つのコンポーネントの協力により、効果的なカメラ-LiDAR融合が成功する。
論文参考訳（メタデータ） (2021-08-17T08:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。