論文の概要: CrossFusion: Interleaving Cross-modal Complementation for Noise-resistant 3D Object Detection

• arxiv url: http://arxiv.org/abs/2304.09694v1
• Date: Wed, 19 Apr 2023 14:35:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 14:15:44.141276
• Title: CrossFusion: Interleaving Cross-modal Complementation for Noise-resistant 3D Object Detection
• Title（参考訳）: クロスフュージョン:ノイズ耐性3次元物体検出のためのクロスモーダル補間
• Authors: Yang Yang, Weijie Ma, Hao Chen, Linlin Ou and Xinyi Yu
• Abstract要約: 本稿では, カメラとLiDARの機能を完全に活用し, クロスモーダル補間戦略を設計した, より堅牢で耐雑音性のあるスキームを提案する。 提案手法は, 設定条件下での最先端の手法より優れるだけでなく, 特定の故障シナリオに対して再学習することなく, モデルの耐雑音性を実証する。
• 参考スコア（独自算出の注目度）: 7.500487420385808
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The combination of LiDAR and camera modalities is proven to be necessary and typical for 3D object detection according to recent studies. Existing fusion strategies tend to overly rely on the LiDAR modal in essence, which exploits the abundant semantics from the camera sensor insufficiently. However, existing methods cannot rely on information from other modalities because the corruption of LiDAR features results in a large domain gap. Following this, we propose CrossFusion, a more robust and noise-resistant scheme that makes full use of the camera and LiDAR features with the designed cross-modal complementation strategy. Extensive experiments we conducted show that our method not only outperforms the state-of-the-art methods under the setting without introducing an extra depth estimation network but also demonstrates our model's noise resistance without re-training for the specific malfunction scenarios by increasing 5.2\% mAP and 2.4\% NDS.
• Abstract（参考訳）: lidarとカメラのモダリティの組み合わせは、3dオブジェクト検出に必要であり、最近の研究によれば典型的なものである。 既存の融合戦略は、カメラセンサーからの豊富なセマンティクスを活用するLiDARモダルを本質的に過度に依存する傾向にある。 しかし、LiDARの特徴の破損が大きなドメインギャップをもたらすため、既存の手法は他のモダリティの情報に頼ることはできない。 そこで,提案するクロスフュージョンは,カメラとライダーの機能を完全に活用し,クロスモーダル補間戦略を考案した,より堅牢で耐雑音性の高い手法である。 実験の結果,提案手法は付加的な深度推定ネットワークを導入することなく,また,5.2\%のmAPと2.4\%のNDSを増大させることで,特定の故障シナリオに対する再学習を伴わずに,モデルの耐雑音性を示す。

関連論文リスト

• Robust Multimodal 3D Object Detection via Modality-Agnostic Decoding and Proximity-based Modality Ensemble [15.173314907900842]
  既存の3Dオブジェクト検出方法は、LiDARセンサーに大きく依存している。 我々は,LiDAR過信頼問題に対処するためにMEFormerを提案する。 我々のMEFormerは73.9% NDSと71.5% mAPの最先端性能を実現している。
  論文  参考訳（メタデータ） (2024-07-27T03:21:44Z)
• 3DifFusionDet: Diffusion Model for 3D Object Detection with Robust LiDAR-Camera Fusion [6.914463996768285]
  3DifFusionDetはノイズの多い3Dボックスからターゲットボックスへのノイズ拡散プロセスとして3Dオブジェクトを検出する。 特徴整合戦略の下では、プログレッシブ改良法はロバストLiDAR-Camera融合に重要な貢献をする可能性がある。 実世界の交通物体識別のベンチマークであるKITTIの実験では、3DifFusionDetが以前のよく検討された検出器と比較して好適に動作できることが判明した。
  論文  参考訳（メタデータ） (2023-11-07T05:53:09Z)
• MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
  MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。 特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。 本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:26:02Z)
• FusionRCNN: LiDAR-Camera Fusion for Two-stage 3D Object Detection [11.962073589763676]
  既存の3D検出器は、2段階のパラダイムを採用することで精度を大幅に向上させる。 特に遠く離れた地点では、点雲の広がりは、LiDARのみの精製モジュールがオブジェクトを正確に認識し、配置することを困難にしている。 We propose a novel multi-modality two-stage approach called FusionRCNN, which is effective and efficient fuses point clouds and camera image in the Regions of Interest(RoI)。 FusionRCNNは、強力なSECONDベースラインを6.14%のmAPで大幅に改善し、競合する2段階アプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-09-22T02:07:25Z)
• MSMDFusion: Fusing LiDAR and Camera at Multiple Scales with Multi-Depth Seeds for 3D Object Detection [89.26380781863665]
  自律運転システムにおける高精度で信頼性の高い3次元物体検出を実現するためには,LiDARとカメラ情報の融合が不可欠である。 近年のアプローチでは、2次元カメラ画像の3次元空間への昇華点によるカメラ特徴のセマンティックな密度の探索が試みられている。 マルチグラニュラリティLiDARとカメラ機能とのマルチスケールなプログレッシブインタラクションに焦点を当てた,新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-07T12:29:29Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• Dense Voxel Fusion for 3D Object Detection [10.717415797194896]
  ボクセル融合 (Voxel Fusion, DVF) は, 多スケール密度ボクセル特徴表現を生成する逐次融合法である。 地上の真理2Dバウンディングボックスラベルを直接トレーニングし、ノイズの多い検出器固有の2D予測を避けます。 提案したマルチモーダルトレーニング戦略は, 誤った2次元予測を用いたトレーニングに比べ, より一般化できることを示す。
  論文  参考訳（メタデータ） (2022-03-02T04:51:31Z)
• Depth-Cooperated Trimodal Network for Video Salient Object Detection [13.727763221832532]
  我々はDCTNet(Deep-operated triOD network)を提案する。 この目的のために、まずRGBフレームから深度を生成し、次に3つのモダリティを不等に扱うアプローチを提案する。 また、各モードの雑音を抑えるための改良融合モジュール(RFM)を導入し、機能改善のために有用な情報を動的に選択する。
  論文  参考訳（メタデータ） (2022-02-12T13:04:16Z)
• EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection [56.03081616213012]
  本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。 提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。 KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-12-21T10:48:34Z)
• LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic Segmentation [78.74202673902303]
  本稿では,LiDAR分割のための粗大なLiDARとカメラフュージョンベースネットワーク(LIF-Seg)を提案する。 提案手法は,画像の文脈情報を完全に活用し,単純だが効果的な早期融合戦略を導入する。 これら2つのコンポーネントの協力により、効果的なカメラ-LiDAR融合が成功する。
  論文  参考訳（メタデータ） (2021-08-17T08:53:11Z)
• Learning Selective Mutual Attention and Contrast for RGB-D Saliency Detection [145.4919781325014]
  クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。 多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。 本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
  論文  参考訳（メタデータ） (2020-10-12T08:50:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。