論文の概要: SupFusion: Supervised LiDAR-Camera Fusion for 3D Object Detection

• arxiv url: http://arxiv.org/abs/2309.07084v1
• Date: Wed, 13 Sep 2023 16:52:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 13:17:32.719282
• Title: SupFusion: Supervised LiDAR-Camera Fusion for 3D Object Detection
• Title（参考訳）: SupFusion:3Dオブジェクト検出のためのLiDAR-Camera Fusion
• Authors: Yiran Qin, Chaoqun Wang, Zijian Kang, Ningning Ma, Zhen Li, Ruimao Zhang
• Abstract要約: SupFusionはLiDAR-Camera融合のための補助的な機能レベルの監視を提供する。 ディープフュージョンモジュールは、従来のフュージョン法に比べて連続的に優れた性能を得る。 複数のLiDAR-Camera 3D検出器をベースとしたKITTIベンチマークでは,約2%の3D mAP改善が得られた。
• 参考スコア（独自算出の注目度）: 22.683446326326898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel training strategy called SupFusion, which provides an auxiliary feature level supervision for effective LiDAR-Camera fusion and significantly boosts detection performance. Our strategy involves a data enhancement method named Polar Sampling, which densifies sparse objects and trains an assistant model to generate high-quality features as the supervision. These features are then used to train the LiDAR-Camera fusion model, where the fusion feature is optimized to simulate the generated high-quality features. Furthermore, we propose a simple yet effective deep fusion module, which contiguously gains superior performance compared with previous fusion methods with SupFusion strategy. In such a manner, our proposal shares the following advantages. Firstly, SupFusion introduces auxiliary feature-level supervision which could boost LiDAR-Camera detection performance without introducing extra inference costs. Secondly, the proposed deep fusion could continuously improve the detector's abilities. Our proposed SupFusion and deep fusion module is plug-and-play, we make extensive experiments to demonstrate its effectiveness. Specifically, we gain around 2% 3D mAP improvements on KITTI benchmark based on multiple LiDAR-Camera 3D detectors.
• Abstract（参考訳）: 本稿では,実効LiDAR-Camera融合のための機能レベルの補助的監視を提供し,検出性能を大幅に向上させるSupFusionと呼ばれる新しいトレーニング戦略を提案する。 我々の戦略はポーラサンプリング(Polar Smpling)と呼ばれるデータ強化手法で、スパースオブジェクトを密度化し、アシスタントモデルを訓練し、監督として高品質な特徴を生成する。 これらの機能はLiDAR-Camera融合モデルをトレーニングするために使用され、融合機能は生成された高品質な機能をシミュレートするために最適化される。 さらに,SupFusion 戦略を用いた従来の核融合法と比較して連続的に性能が向上する,単純で効果的な深層核融合モジュールを提案する。 このようにして、提案は以下の利点を共有します。 まず、SupFusionは追加の推論コストを導入することなくLiDAR-Camera検出性能を向上させる機能レベルの補助的監視を導入する。 第二に、提案された深部核融合は検出器の能力を継続的に改善することができた。 提案するsupfusionおよびdeep fusionモジュールはプラグアンドプレイであり,その効果を実証するための広範な実験を行う。 具体的には,複数のLiDAR-Camera 3D検出器をベースとしたKITTIベンチマークにおいて,約2%の3D mAP改善が得られた。

関連論文リスト

• LiRaFusion: Deep Adaptive LiDAR-Radar Fusion for 3D Object Detection [7.505655376776177]
  3次元物体検出のためのLiDAR-レーダー融合のためのLiRaFusionを提案する。 我々は,結合ボクセル特徴符号化のための早期融合モジュールと,特徴写像を適応的に融合させる中核融合モジュールを設計する。 既存の手法に比べてLiRaFusionが顕著な改善を達成できることを示すため,我々はnuScenesを広範囲に評価する。
  論文  参考訳（メタデータ） (2024-02-18T23:29:28Z)
• ShaSTA-Fuse: Camera-LiDAR Sensor Fusion to Model Shape and Spatio-Temporal Affinities for 3D Multi-Object Tracking [26.976216624424385]
  3Dマルチオブジェクトトラッキング(MOT)は、自律移動エージェントが安全にシーンをナビゲートするために不可欠である。 我々は,カメラとLiDARセンサ情報を融合した3DMOTフレームワークの開発を目指している。
  論文  参考訳（メタデータ） (2023-10-04T02:17:59Z)
• MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
  MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。 特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。 本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:26:02Z)
• DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras and Radars [2.2166853714891057]
  本研究では,ライダー,カメラ,レーダーを異なる組み合わせで融合して3次元物体検出を行うモジュール型マルチモーダルアーキテクチャを提案する。 特殊特徴抽出器は各モードの利点を生かし、容易に交換でき、アプローチをシンプルかつ柔軟にする。 Lidar-camera, lidar-camera-radar, camera-radar fusion の実験結果から, 融合法の柔軟性と有効性が確認された。
  論文  参考訳（メタデータ） (2022-09-26T14:33:30Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers [49.689566246504356]
  そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。 TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。 提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
  論文  参考訳（メタデータ） (2022-03-22T07:15:13Z)
• EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection [56.03081616213012]
  本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。 提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。 KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-12-21T10:48:34Z)
• LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic Segmentation [78.74202673902303]
  本稿では,LiDAR分割のための粗大なLiDARとカメラフュージョンベースネットワーク(LIF-Seg)を提案する。 提案手法は,画像の文脈情報を完全に活用し,単純だが効果的な早期融合戦略を導入する。 これら2つのコンポーネントの協力により、効果的なカメラ-LiDAR融合が成功する。
  論文  参考訳（メタデータ） (2021-08-17T08:53:11Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Multi-View Adaptive Fusion Network for 3D Object Detection [14.506796247331584]
  LiDAR-カメラ融合に基づく3Dオブジェクト検出は、自動運転の新たな研究テーマになりつつある。 本稿では,LiDARの鳥眼ビュー,LiDARレンジビュー,カメラビューイメージを3Dオブジェクト検出の入力として利用する,単一ステージ多視点融合フレームワークを提案する。 これら2つのコンポーネントを統合するために,MVAF-Netというエンドツーエンドの学習ネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-02T00:06:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。