論文の概要: RaCFormer: Towards High-Quality 3D Object Detection via Query-based Radar-Camera Fusion

• arxiv url: http://arxiv.org/abs/2412.12725v1
• Date: Tue, 17 Dec 2024 09:47:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:58:40.572993
• Title: RaCFormer: Towards High-Quality 3D Object Detection via Query-based Radar-Camera Fusion
• Title（参考訳）: RaCFormer: Query-based Radar-Camera Fusionによる高品質3Dオブジェクト検出を目指して
• Authors: Xiaomeng Chu, Jiajun Deng, Guoliang You, Yifan Duan, Houqiang Li, Yanyong Zhang,
• Abstract要約: 本稿では3次元物体検出の精度を高めるために,Raar-Camera fusion transformer (RaCFormer)を提案する。 RaCFormerは64.9%のmAPと70.2%のNDSをnuScene上で達成し、LiDARベースの検出器よりも優れている。
• 参考スコア（独自算出の注目度）: 58.77329237533034
• License:
• Abstract: We propose Radar-Camera fusion transformer (RaCFormer) to boost the accuracy of 3D object detection by the following insight. The Radar-Camera fusion in outdoor 3D scene perception is capped by the image-to-BEV transformation--if the depth of pixels is not accurately estimated, the naive combination of BEV features actually integrates unaligned visual content. To avoid this problem, we propose a query-based framework that enables adaptively sample instance-relevant features from both the BEV and the original image view. Furthermore, we enhance system performance by two key designs: optimizing query initialization and strengthening the representational capacity of BEV. For the former, we introduce an adaptive circular distribution in polar coordinates to refine the initialization of object queries, allowing for a distance-based adjustment of query density. For the latter, we initially incorporate a radar-guided depth head to refine the transformation from image view to BEV. Subsequently, we focus on leveraging the Doppler effect of radar and introduce an implicit dynamic catcher to capture the temporal elements within the BEV. Extensive experiments on nuScenes and View-of-Delft (VoD) datasets validate the merits of our design. Remarkably, our method achieves superior results of 64.9% mAP and 70.2% NDS on nuScenes, even outperforming several LiDAR-based detectors. RaCFormer also secures the 1st ranking on the VoD dataset. The code will be released.
• Abstract（参考訳）: 本稿では,Raar-Camera fusion transformer (RaCFormer)を提案する。 屋外の3Dシーン認識におけるレーダー・カメラ融合は、画像からBEVへの変換によってカプセル化される。 この問題を回避するために,BEVとオリジナル画像ビューの両方から,インスタンス関連機能を適応的にサンプルするクエリベースのフレームワークを提案する。 さらに,クエリ初期化の最適化と,BEVの表現能力の向上という,2つの重要な設計によるシステム性能の向上を図る。 前者に対しては、オブジェクトクエリの初期化を改善するために極座標に適応的な円形分布を導入し、クエリ密度の距離に基づく調整を可能にする。 後者については、まずレーダー誘導深度ヘッドを組み込んで画像ビューからBEVへの変換を洗練させる。 その後、レーダーのドップラー効果を活用することに集中し、BEV内の時間的要素を捉えるために暗黙のダイナミックキャッチャーを導入する。 nuScenesとView-of-Delft(VoD)データセットに関する大規模な実験は、我々の設計のメリットを検証する。 この手法は,64.9% mAP と 70.2% NDS を nuScene 上で達成し,LiDAR ベースの検出器よりも優れていた。 RaCFormerはVoDデータセットの第1位も確保している。 コードはリリースされます。

関連論文リスト

• EVT: Efficient View Transformation for Multi-Modal 3D Object Detection [2.9848894641223302]
  効率的なビュー変換(EVT)による新しい3次元物体検出法を提案する。 EVTは、アダプティブサンプリングとアダプティブプロジェクション(ASAP)を使用して、3Dサンプリングポイントとアダプティブカーネルを生成する。 トランスデコーダ内で得られたマルチモーダルBEV機能を効果的に活用するように設計されている。
  論文  参考訳（メタデータ） (2024-11-16T06:11:10Z)
• GET-UP: GEomeTric-aware Depth Estimation with Radar Points UPsampling [7.90238039959534]
  既存のアルゴリズムは3Dポイントを画像面に投影してレーダデータを処理し、画素レベルの特徴抽出を行う。 レーダデータから2次元情報と3次元情報を交換・集約するために,注目度の高いグラフニューラルネットワーク(GNN)を利用するGET-UPを提案する。 提案したGET-UPをnuScenesデータセット上でベンチマークし,従来最高のパフォーマンスモデルよりも15.3%,14.7%改善した。
  論文  参考訳（メタデータ） (2024-09-02T14:15:09Z)
• Instance-aware Multi-Camera 3D Object Detection with Structural Priors Mining and Self-Boosting Learning [93.71280187657831]
  カメラによる鳥眼視(BEV)知覚パラダイムは、自律運転分野において大きな進歩を遂げている。 画像平面のインスタンス認識をBEV検出器内の深度推定プロセスに統合するIA-BEVを提案する。
  論文  参考訳（メタデータ） (2023-12-13T09:24:42Z)
• BEV-IO: Enhancing Bird's-Eye-View 3D Detection with Instance Occupancy [58.92659367605442]
  我々は,BEV表現をインスタンス占有情報で拡張する新しい3次元検出パラダイムであるBEV-IOを提案する。 BEV-IOは、パラメータや計算オーバーヘッドの無視できる増加しか加えず、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-26T11:16:12Z)
• Leveraging BEV Representation for 360-degree Visual Place Recognition [14.497501941931759]
  本稿では,360度視覚位置認識(VPR)におけるBird's Eye View表現の利点について検討する。 本稿では,特徴抽出,特徴集約,視覚-LiDAR融合におけるBEV表現を利用した新しいネットワークアーキテクチャを提案する。 提案手法は,2つのデータセットのアブレーションおよび比較研究において評価される。
  論文  参考訳（メタデータ） (2023-05-23T08:29:42Z)
• Geometric-aware Pretraining for Vision-centric 3D Object Detection [77.7979088689944]
  GAPretrainと呼ばれる新しい幾何学的事前学習フレームワークを提案する。 GAPretrainは、複数の最先端検出器に柔軟に適用可能なプラグアンドプレイソリューションとして機能する。 BEVFormer法を用いて, nuScenes val の 46.2 mAP と 55.5 NDS を実現し, それぞれ 2.7 と 2.1 点を得た。
  論文  参考訳（メタデータ） (2023-04-06T14:33:05Z)
• OA-BEV: Bringing Object Awareness to Bird's-Eye-View Representation for Multi-Camera 3D Object Detection [78.38062015443195]
  OA-BEVは、BEVベースの3Dオブジェクト検出フレームワークにプラグインできるネットワークである。 提案手法は,BEV ベースラインに対する平均精度と nuScenes 検出スコアの両面で一貫した改善を実現する。
  論文  参考訳（メタデータ） (2023-01-13T06:02:31Z)
• Bridging the View Disparity of Radar and Camera Features for Multi-modal Fusion 3D Object Detection [6.959556180268547]
  本稿では3次元物体検出にミリ波レーダとカメラセンサ融合を用いる方法について述べる。 より優れた特徴表現のための鳥眼ビュー(BEV)における特徴レベル融合を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-08-25T13:21:37Z)
• Fully Convolutional One-Stage 3D Object Detection on LiDAR Range Images [96.66271207089096]
  FCOS-LiDARは、自律走行シーンのLiDAR点雲のための完全な1段式3Dオブジェクト検出器である。 標準的な2Dコンボリューションを持つRVベースの3D検出器は、最先端のBEVベースの検出器と同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-05-27T05:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。