論文の概要: Multimodal Virtual Point 3D Detection

• arxiv url: http://arxiv.org/abs/2111.06881v1
• Date: Fri, 12 Nov 2021 18:58:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-15 13:47:12.614281
• Title: Multimodal Virtual Point 3D Detection
• Title（参考訳）: マルチモーダル仮想点3次元検出
• Authors: Tianwei Yin, Xingyi Zhou, Philipp Kr\"ahenb\"uhl
• Abstract要約: ライダーをベースとしたセンサーは、現在の自動運転車を駆動する。 現在のLidarセンサーは、解像度とコストに関して従来のカラーカメラより20年遅れている。 本稿では,RGBセンサをLidarベースの3D認識にシームレスに融合する手法を提案する。
• 参考スコア（独自算出の注目度）: 6.61319085872973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lidar-based sensing drives current autonomous vehicles. Despite rapid progress, current Lidar sensors still lag two decades behind traditional color cameras in terms of resolution and cost. For autonomous driving, this means that large objects close to the sensors are easily visible, but far-away or small objects comprise only one measurement or two. This is an issue, especially when these objects turn out to be driving hazards. On the other hand, these same objects are clearly visible in onboard RGB sensors. In this work, we present an approach to seamlessly fuse RGB sensors into Lidar-based 3D recognition. Our approach takes a set of 2D detections to generate dense 3D virtual points to augment an otherwise sparse 3D point cloud. These virtual points naturally integrate into any standard Lidar-based 3D detectors along with regular Lidar measurements. The resulting multi-modal detector is simple and effective. Experimental results on the large-scale nuScenes dataset show that our framework improves a strong CenterPoint baseline by a significant 6.6 mAP, and outperforms competing fusion approaches. Code and more visualizations are available at https://tianweiy.github.io/mvp/
• Abstract（参考訳）: lidarベースのセンシングは、現在の自動運転車を駆動する。 急速な進歩にもかかわらず、現在のLidarセンサーは解像度とコストに関して従来のカラーカメラより20年遅れている。 自律運転では、センサーの近くにある大きな物体が容易に見えるが、遠方または小さな物体は1つか2つしか測定できない。 これは特に、これらの物体が危険にさらされている場合の問題です。 一方、同じ物体は搭載されているrgbセンサーではっきりと見える。 本研究では,RGBセンサをLidarベースの3D認識にシームレスに融合する手法を提案する。 提案手法では,3次元の高密度な仮想点を生成するために2次元検出を行う。 これらの仮想点は、通常のライダー測定とともに、いかなる標準ライダーベースの3D検出器にも自然に統合される。 結果として生じるマルチモーダル検出器は単純かつ効果的である。 大規模なnuScenesデータセットの実験結果から,我々のフレームワークは6.6mAPで強力なCenterPointベースラインを向上し,競合する核融合アプローチよりも優れていた。 コードと可視化はhttps://tianweiy.github.io/mvp/で確認できる。

関連論文リスト

• Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
  単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。 本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。 3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
  論文  参考訳（メタデータ） (2024-04-10T03:54:53Z)
• Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
  マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
  論文  参考訳（メタデータ） (2023-05-12T18:08:51Z)
• SemanticBEVFusion: Rethink LiDAR-Camera Fusion in Unified Bird's-Eye View Representation for 3D Object Detection [14.706717531900708]
  LiDARとカメラは、自律運転における3Dオブジェクト検出に不可欠な2つのセンサーである。 近年の手法では,LiDAR点雲にカメラ機能を持たせた点レベルの融合に焦点が当てられている。 We present SemanticBEVFusion to deep fuse camera features with LiDAR features in an unified BEV representation。
  論文  参考訳（メタデータ） (2022-12-09T05:48:58Z)
• Far3Det: Towards Far-Field 3D Detection [67.38417186733487]
  我々は、観測者から一定の距離を超える物体の遠距離3次元検出(Far3Det)の課題に焦点を当てる。 Far3Detは高速道路で動く自動運転車(AV)にとって特に重要である。 我々は,nuScenesデータセットからよく注釈付きシーンを抽出し,十分に注釈付き遠距離フィールド検証セットを導出する手法を開発した。 Far3Detの評価プロトコルを提案し,Far3Detの様々な3次元検出手法を提案する。
  論文  参考訳（メタデータ） (2022-11-25T02:07:57Z)
• DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
  ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。 我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
  論文  参考訳（メタデータ） (2022-03-15T18:46:06Z)
• Embracing Single Stride 3D Object Detector with Sparse Transformer [63.179720817019096]
  自律走行のためのLiDARを用いた3次元物体検出では、物体サイズと入力シーンサイズとの比が2次元検出の場合に比べて有意に小さい。 多くの3D検出器は2D検出器の一般的な慣習に従っており、点雲の定量化後も特徴マップを分解する。 本稿では,SST(Single-stride Sparse Transformer)を提案する。
  論文  参考訳（メタデータ） (2021-12-13T02:12:02Z)
• RoIFusion: 3D Object Detection from LiDAR and Vision [7.878027048763662]
  本稿では,3次元関心領域(RoI)の集合を点雲から対応する画像の2次元ロIに投影することで,新しい融合アルゴリズムを提案する。 提案手法は,KITTI 3Dオブジェクト検出課題ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-09-09T20:23:27Z)
• End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection [62.34374949726333]
  擬似LiDAR(PL)は、LiDARセンサに基づく手法と安価なステレオカメラに基づく手法の精度ギャップを劇的に減らした。 PLは最先端のディープニューラルネットワークと2D深度マップ出力を3Dポイントクラウド入力に変換することで3Dオブジェクト検出のための3D深度推定を組み合わせている。 我々は、PLパイプライン全体をエンドツーエンドにトレーニングできるように、差別化可能なRepresentation (CoR)モジュールに基づく新しいフレームワークを導入します。
  論文  参考訳（メタデータ） (2020-04-07T02:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。