Fugu-MT 論文翻訳(概要): FUTR3D: A Unified Sensor Fusion Framework for 3D Detection

論文の概要: FUTR3D: A Unified Sensor Fusion Framework for 3D Detection

arxiv url: http://arxiv.org/abs/2203.10642v1
Date: Sun, 20 Mar 2022 20:41:55 GMT
ステータス: 処理完了
システム内更新日: 2022-03-22 16:45:47.705763
Title: FUTR3D: A Unified Sensor Fusion Framework for 3D Detection
Title（参考訳）: FUTR3D:3次元検出のための統合センサフュージョンフレームワーク
Authors: Xuanyao Chen, Tianyuan Zhang, Yue Wang, Yilun Wang, Hang Zhao
Abstract要約: ほぼ任意のセンサ構成で使用できる3D検出のための最初の統合エンドツーエンドセンサフュージョンフレームワークR3Dを提案する。 R3Dは、クエリベースのModality-Agnostic Feature Sampler (MAFS)と、3D検出のためのセット・ツー・セット・ロスを備えた変換器デコーダを採用している。 NuScenesデータセットでは、R3Dは、さまざまなセンサーの組み合わせで特別に設計されたメソッドよりも優れたパフォーマンスを実現している。
参考スコア（独自算出の注目度）: 18.70932813595532
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sensor fusion is an essential topic in many perception systems, such as autonomous driving and robotics. Existing multi-modal 3D detection models usually involve customized designs depending on the sensor combinations or setups. In this work, we propose the first unified end-to-end sensor fusion framework for 3D detection, named FUTR3D, which can be used in (almost) any sensor configuration. FUTR3D employs a query-based Modality-Agnostic Feature Sampler (MAFS), together with a transformer decoder with a set-to-set loss for 3D detection, thus avoiding using late fusion heuristics and post-processing tricks. We validate the effectiveness of our framework on various combinations of cameras, low-resolution LiDARs, high-resolution LiDARs, and Radars. On NuScenes dataset, FUTR3D achieves better performance over specifically designed methods across different sensor combinations. Moreover, FUTR3D achieves great flexibility with different sensor configurations and enables low-cost autonomous driving. For example, only using a 4-beam LiDAR with cameras, FUTR3D (56.8 mAP) achieves on par performance with state-of-the-art 3D detection model CenterPoint (56.6 mAP) using a 32-beam LiDAR.
Abstract（参考訳）: センサ融合は、自動運転やロボティクスなど、多くの認識システムにおいて重要なトピックである。既存のマルチモーダル3D検出モデルは通常、センサーの組み合わせや設定に応じてカスタマイズされた設計を含む。本研究は, FUTR3Dと呼ばれる, センサ構成のほぼすべてに使用可能な3次元検出のための, 初の統合エンドツーエンドセンサ融合フレームワークを提案する。 futr3dはクエリベースのモダリティ非依存機能サンプリング(mafs)と、3d検出のためのセット・ツー・セットの損失を持つトランスデコーダを使用する。我々は,カメラ,低解像度LiDAR,高解像度LiDAR,レーダの様々な組み合わせにおけるフレームワークの有効性を検証する。 NuScenesデータセットでは、FUTR3Dは、さまざまなセンサーの組み合わせで特別に設計されたメソッドよりも優れたパフォーマンスを実現する。さらに、FUTR3Dはセンサー構成の異なる優れた柔軟性を実現し、低コストの自動運転を可能にする。例えば、カメラ付き4ビームLiDARのみを使用するFUTR3D (56.8 mAP)は、32ビームLiDARを使用した最先端の3D検出モデルCenterPoint (56.6 mAP)と同等の性能を達成する。

関連論文リスト

Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。 3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
論文参考訳（メタデータ） (2024-04-10T03:54:53Z)
ShaSTA-Fuse: Camera-LiDAR Sensor Fusion to Model Shape and Spatio-Temporal Affinities for 3D Multi-Object Tracking [26.976216624424385]
3Dマルチオブジェクトトラッキング(MOT)は、自律移動エージェントが安全にシーンをナビゲートするために不可欠である。我々は,カメラとLiDARセンサ情報を融合した3DMOTフレームワークの開発を目指している。
論文参考訳（メタデータ） (2023-10-04T02:17:59Z)
UniTR: A Unified and Efficient Multi-Modal Transformer for Bird's-Eye-View Representation [113.35352122662752]
屋外3次元知覚のためのマルチモーダルバックボーンUniTRを提案する。 UniTRは、統一されたモデリングと共有パラメータで様々なモダリティを処理する。 UniTRは基本的にタスクに依存しないバックボーンであり、異なる3D知覚タスクを自然にサポートする。
論文参考訳（メタデータ） (2023-08-15T12:13:44Z)
Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文参考訳（メタデータ） (2023-05-12T18:08:51Z)
ImLiDAR: Cross-Sensor Dynamic Message Propagation Network for 3D Object Detection [20.44294678711783]
我々は,カメラ画像とLiDAR点雲のマルチスケール特徴を段階的に融合させることにより,センサ間差を狭める新しい3ODパラダイムであるImLiDARを提案する。まず,マルチスケール画像とポイント特徴の最良の組み合わせを目的とした,クロスセンサ動的メッセージ伝搬モジュールを提案する。第二に、効率的なセットベース検出器を設計できるような、直接セット予測問題を提起する。
論文参考訳（メタデータ） (2022-11-17T13:31:23Z)
HRFuser: A Multi-resolution Sensor Fusion Architecture for 2D Object Detection [0.0]
マルチモーダル2Dオブジェクト検出のためのモジュールアーキテクチャであるHRFuserを提案する。マルチレゾリューション方式で複数のセンサーを融合させ、任意の数の入力モードにスケールする。我々は、nuScenesとDENSEデータセットに関する実験を通じて、我々のモデルが追加のモーダルから補完的な特徴を効果的に活用できることを実証する。
論文参考訳（メタデータ） (2022-06-30T09:40:05Z)
DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
論文参考訳（メタデータ） (2022-03-15T18:46:06Z)
Deep Continuous Fusion for Multi-Sensor 3D Object Detection [103.5060007382646]
本稿では,LIDARとカメラを併用して高精度な位置検出を実現する3Dオブジェクト検出器を提案する。我々は,連続畳み込みを利用して画像とlidar特徴マップを異なるレベルの解像度で融合する,エンドツーエンド学習可能なアーキテクチャを設計した。
論文参考訳（メタデータ） (2020-12-20T18:43:41Z)
RoIFusion: 3D Object Detection from LiDAR and Vision [7.878027048763662]
本稿では,3次元関心領域(RoI)の集合を点雲から対応する画像の2次元ロIに投影することで,新しい融合アルゴリズムを提案する。提案手法は,KITTI 3Dオブジェクト検出課題ベンチマークにおける最先端性能を実現する。
論文参考訳（メタデータ） (2020-09-09T20:23:27Z)
End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection [62.34374949726333]
擬似LiDAR(PL)は、LiDARセンサに基づく手法と安価なステレオカメラに基づく手法の精度ギャップを劇的に減らした。 PLは最先端のディープニューラルネットワークと2D深度マップ出力を3Dポイントクラウド入力に変換することで3Dオブジェクト検出のための3D深度推定を組み合わせている。我々は、PLパイプライン全体をエンドツーエンドにトレーニングできるように、差別化可能なRepresentation (CoR)モジュールに基づく新しいフレームワークを導入します。
論文参考訳（メタデータ） (2020-04-07T02:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。