Fugu-MT 論文翻訳(概要): PoIFusion: Multi-Modal 3D Object Detection via Fusion at Points of Interest

論文の概要: PoIFusion: Multi-Modal 3D Object Detection via Fusion at Points of Interest

arxiv url: http://arxiv.org/abs/2403.09212v2
Date: Sun, 22 Sep 2024 06:53:07 GMT
ステータス: 処理完了
システム内更新日: 2024-11-09 04:10:35.287398
Title: PoIFusion: Multi-Modal 3D Object Detection via Fusion at Points of Interest
Title（参考訳）: PoIFusion:関心点での核融合による多モード3次元物体検出
Authors: Jiajun Deng, Sha Zhang, Feras Dayoub, Wanli Ouyang, Yanyong Zhang, Ian Reid,
Abstract要約: PoIFusionは、関心点(PoIs)におけるRGBイメージとLiDARポイントクラウドに関する情報を融合するフレームワークである。提案手法は,各モダリティの視点を維持し,計算にやさしいプロジェクションと計算によってマルチモーダル特徴を得る。我々はnuScenesとArgoverse2データセットについて広範囲に実験を行い、我々のアプローチを評価した。
参考スコア（独自算出の注目度）: 65.48057241587398
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we present PoIFusion, a conceptually simple yet effective multi-modal 3D object detection framework to fuse the information of RGB images and LiDAR point clouds at the points of interest (PoIs). Different from the most accurate methods to date that transform multi-sensor data into a unified view or leverage the global attention mechanism to facilitate fusion, our approach maintains the view of each modality and obtains multi-modal features by computation-friendly projection and interpolation. In particular, our PoIFusion follows the paradigm of query-based object detection, formulating object queries as dynamic 3D boxes and generating a set of PoIs based on each query box. The PoIs serve as the keypoints to represent a 3D object and play the role of the basic units in multi-modal fusion. Specifically, we project PoIs into the view of each modality to sample the corresponding feature and integrate the multi-modal features at each PoI through a dynamic fusion block. Furthermore, the features of PoIs derived from the same query box are aggregated together to update the query feature. Our approach prevents information loss caused by view transformation and eliminates the computation-intensive global attention, making the multi-modal 3D object detector more applicable. We conducted extensive experiments on nuScenes and Argoverse2 datasets to evaluate our approach. Remarkably, the proposed approach achieves state-of-the-art results on both datasets without any bells and whistles, \emph{i.e.}, 74.9\% NDS and 73.4\% mAP on nuScenes, and 31.6\% CDS and 40.6\% mAP on Argoverse2. The code will be made available at \url{https://djiajunustc.github.io/projects/poifusion}.
Abstract（参考訳）: 本稿では,RGB画像とLiDAR点雲の情報を興味ある点(PoI)に融合させる,概念的にシンプルで効果的なマルチモーダル3Dオブジェクト検出フレームワークPoIFusionを提案する。マルチセンサデータを統一的なビューに変換する,あるいは統合を容易にするグローバルアテンション機構を活用する,これまでで最も正確な方法とは違い,本手法は各モードのビューを維持し,計算に優しい投影と補間によりマルチモーダル特徴を得る。特に、私たちのPoIFusionは、クエリベースのオブジェクト検出のパラダイムに従い、オブジェクトクエリを動的3Dボックスとして定式化し、各クエリボックスに基づいてPoIのセットを生成します。 PoIは3Dオブジェクトを表すキーポイントとして機能し、マルチモーダル融合において基本ユニットの役割を担う。具体的には、PoIを各モードのビューに投影し、対応する特徴をサンプリングし、動的融合ブロックを介して各PoIのマルチモーダル特徴を統合する。さらに、同じクエリボックスから派生したPoIの機能を集約してクエリ機能を更新する。本手法は、ビュー変換による情報損失を防止し、計算集約的なグローバルな注目を排除し、マルチモーダル3Dオブジェクト検出器をより適用できるようにする。我々はnuScenesとArgoverse2データセットについて広範囲に実験を行い、我々のアプローチを評価した。注目すべきことに、提案手法は、ベルとホイッスルを使わずに両方のデータセットで最先端の結果を得る。 \emph{i.e.}, 74.9\% NDS and 73.4\% mAP on nuScenes, 31.6\% CDS and 40.6\% mAP on Argoverse2。コードは \url{https://djiajunustc.github.io/projects/poifusion} で公開される。

関連論文リスト

FusionViT: Hierarchical 3D Object Detection via LiDAR-Camera Vision Transformer Fusion [8.168523242105763]
本稿では,新しい視覚変換器を用いた3次元物体検出モデルFusionViTを紹介する。我々のFusionViTモデルは最先端の性能を達成でき、既存のベースライン法より優れています。
論文参考訳（メタデータ） (2023-11-07T00:12:01Z)
SCA-PVNet: Self-and-Cross Attention Based Aggregation of Point Cloud and Multi-View for 3D Object Retrieval [8.74845857766369]
大規模データセットを用いた多モード3Dオブジェクト検索はめったに行われない。本稿では,3次元オブジェクト検索のための点群と多視点画像の自己・横断的アグリゲーションを提案する。
論文参考訳（メタデータ） (2023-07-20T05:46:32Z)
Spatial-Temporal Graph Enhanced DETR Towards Multi-Frame 3D Object Detection [54.041049052843604]
STEMDは,多フレーム3Dオブジェクト検出のためのDETRのようなパラダイムを改良した,新しいエンドツーエンドフレームワークである。まず、オブジェクト間の空間的相互作用と複雑な時間的依存をモデル化するために、空間的時間的グラフアテンションネットワークを導入する。最後に、ネットワークが正のクエリと、ベストマッチしない他の非常に類似したクエリを区別することが課題となる。
論文参考訳（メタデータ） (2023-07-01T13:53:14Z)
MMRDN: Consistent Representation for Multi-View Manipulation Relationship Detection in Object-Stacked Scenes [62.20046129613934]
我々は,MMRDN(Multi-view MRD Network)と呼ばれる新しい多視点融合フレームワークを提案する。異なるビューからの2Dデータを共通の隠れ空間に投影し、埋め込みをVon-Mises-Fisher分布に適合させる。これら2つのオブジェクトの相対位置を符号化した各オブジェクト対の点雲から、K$最大垂直近傍点(KMVN)の集合を選択する。
論文参考訳（メタデータ） (2023-04-25T05:55:29Z)
MMDR: A Result Feature Fusion Object Detection Approach for Autonomous System [5.499393552545591]
提案手法は,MMDR (Multi-Modal Detector based based Result features) と呼ばれ,2次元と3次元の両方のオブジェクト検出タスクで動作するように設計されている。 MMDRモデルは、機能融合の段階で、浅いグローバルな特徴を取り入れ、背景情報を知覚する能力を持つモデルを提供する。
論文参考訳（メタデータ） (2023-04-19T12:28:42Z)
3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D Point Clouds [95.54285993019843]
本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
論文参考訳（メタデータ） (2022-11-01T20:59:38Z)
CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。 3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
論文参考訳（メタデータ） (2022-09-13T05:26:09Z)
MBDF-Net: Multi-Branch Deep Fusion Network for 3D Object Detection [17.295359521427073]
3次元物体検出のためのMulti-Branch Deep Fusion Network (MBDF-Net)を提案する。最初の段階では、マルチブランチ機能抽出ネットワークは、Adaptive Attention Fusionモジュールを使用して、単一モーダルなセマンティックな特徴からクロスモーダルな融合機能を生成する。第2段階では、関心領域(RoI)をプールした核融合モジュールを用いて局所的な特徴を改良する。
論文参考訳（メタデータ） (2021-08-29T15:40:15Z)
Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。アーキテクチャ全体が2段階の融合を促進する。 KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文参考訳（メタデータ） (2020-08-16T11:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。