論文の概要: PAI3D: Painting Adaptive Instance-Prior for 3D Object Detection
- arxiv url: http://arxiv.org/abs/2211.08055v1
- Date: Tue, 15 Nov 2022 11:15:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 15:02:27.992579
- Title: PAI3D: Painting Adaptive Instance-Prior for 3D Object Detection
- Title(参考訳): pai3d: 3次元物体検出のためのpaint adaptive instance-prior
- Authors: Hao Liu, Zhuoran Xu, Dan Wang, Baofeng Zhang, Guan Wang, Bo Dong, Xin
Wen, and Xinyu Xu
- Abstract要約: Painting Adaptive Instance-prior for 3D Object Detection (PAI3D)は、シーケンシャルなインスタンスレベルの融合フレームワークである。
まず、画像からインスタンスレベルの意味情報を抽出する。
次に、オブジェクト分類ラベル、ポイント・ツー・オブジェクト・メンバシップ、オブジェクト位置を含む抽出情報を用いて、その後の3D検出ネットワークにおける各LiDARポイントを増強する。
- 参考スコア(独自算出の注目度): 22.41785292720421
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D object detection is a critical task in autonomous driving. Recently
multi-modal fusion-based 3D object detection methods, which combine the
complementary advantages of LiDAR and camera, have shown great performance
improvements over mono-modal methods. However, so far, no methods have
attempted to utilize the instance-level contextual image semantics to guide the
3D object detection. In this paper, we propose a simple and effective Painting
Adaptive Instance-prior for 3D object detection (PAI3D) to fuse instance-level
image semantics flexibly with point cloud features. PAI3D is a multi-modal
sequential instance-level fusion framework. It first extracts instance-level
semantic information from images, the extracted information, including objects
categorical label, point-to-object membership and object position, are then
used to augment each LiDAR point in the subsequent 3D detection network to
guide and improve detection performance. PAI3D outperforms the state-of-the-art
with a large margin on the nuScenes dataset, achieving 71.4 in mAP and 74.2 in
NDS on the test split. Our comprehensive experiments show that instance-level
image semantics contribute the most to the performance gain, and PAI3D works
well with any good-quality instance segmentation models and any modern point
cloud 3D encoders, making it a strong candidate for deployment on autonomous
vehicles.
- Abstract(参考訳): 3Dオブジェクト検出は、自動運転において重要なタスクである。
近年,LiDARとカメラの相補的な利点を組み合わせたマルチモーダル融合型3Dオブジェクト検出法が,モノモーダル法よりも優れた性能を示した。
しかし,これまで3Dオブジェクト検出を導くために,インスタンスレベルの文脈的イメージセマンティクスを利用した手法は存在しなかった。
本稿では,3次元オブジェクト検出のための簡易かつ効果的なPainting Adaptive Instance-prior(PAI3D)を提案する。
pai3dはマルチモーダルシーケンシャルなインスタンスレベルの融合フレームワークである。
まず、画像からインスタンスレベルのセマンティック情報を抽出し、対象分類ラベル、ポイント・ツー・オブジェクト・メンバシップ、オブジェクト位置を含む抽出情報を用いて、その後の3D検出ネットワークにおける各LiDARポイントを拡大して検出性能を誘導し改善する。
PAI3Dは、nuScenesデータセットで最先端のマージンを達成し、テストスプリットで71.4、NDSで74.2を達成した。
私たちの包括的な実験では、インスタンスレベルのイメージセマンティクスがパフォーマンス向上に最も寄与していることが示され、pai3dは高品質なインスタンスセグメンテーションモデルやモダンなpoint cloud 3dエンコーダとうまく連携し、自動運転車への展開の強力な候補となります。
関連論文リスト
- 3D Semantic Segmentation-Driven Representations for 3D Object Detection [0.9790236766474201]
自動運転において、3D検出は、経路計画や動き推定など、下流のタスクにより正確な情報を提供する。
提案したマルチモーダル3Dオブジェクト検出は,画像から得られる意味的特徴と点雲から得られる幾何学的特徴を組み合わせたものである。
我々は,既存のLiDARのみに基づく3D検出の十分な意味情報を確保するためのプレゼンテーションとして,ポイントワイズ・セマンティック機能であるSeSameを提案する。
論文 参考訳(メタデータ) (2024-03-11T08:17:56Z) - 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。
拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。
さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
論文 参考訳(メタデータ) (2023-11-07T23:46:41Z) - SOGDet: Semantic-Occupancy Guided Multi-view 3D Object Detection [19.75965521357068]
本稿では,SOGDet(Semantic-Occupancy Guided Multi-view Object Detection)と呼ばれる新しい手法を提案する。
以上の結果から,SOGDet は nuScenes Detection Score (NDS) と平均平均精度 (mAP) の3つのベースライン法の性能を一貫して向上させることがわかった。
これは、3Dオブジェクト検出と3Dセマンティック占有の組み合わせが、3D環境をより包括的に認識し、より堅牢な自律運転システムの構築を支援することを示唆している。
論文 参考訳(メタデータ) (2023-08-26T07:38:21Z) - A Simple Baseline for Multi-Camera 3D Object Detection [94.63944826540491]
周囲のカメラで3Dオブジェクトを検出することは、自動運転にとって有望な方向だ。
マルチカメラオブジェクト検出のための簡易ベースラインであるSimMODを提案する。
我々は, nuScenes の3次元オブジェクト検出ベンチマークにおいて, SimMOD の有効性を示す広範囲な実験を行った。
論文 参考訳(メタデータ) (2022-08-22T03:38:01Z) - Paint and Distill: Boosting 3D Object Detection with Semantic Passing
Network [70.53093934205057]
ライダーやカメラセンサーからの3Dオブジェクト検出タスクは、自動運転に不可欠である。
本研究では,既存のライダーベース3D検出モデルの性能向上を図るために,SPNetという新しいセマンティックパスフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-12T12:35:34Z) - Image-to-Lidar Self-Supervised Distillation for Autonomous Driving Data [80.14669385741202]
本稿では,自律運転データに適した3次元知覚モデルのための自己教師付き事前学習手法を提案する。
我々は、自動走行装置における同期・校正画像とLidarセンサーの可用性を活用している。
私たちのメソッドは、ポイントクラウドや画像アノテーションを一切必要としません。
論文 参考訳(メタデータ) (2022-03-30T12:40:30Z) - FusionPainting: Multimodal Fusion with Adaptive Attention for 3D Object
Detection [15.641616738865276]
本稿では,2次元RGB画像と3次元点群をセマンティックレベルで融合させて3次元物体検出タスクを増強する汎用多モード核融合フレームワークFusionPaintingを提案する。
特にFusionPaintingフレームワークは、マルチモーダルセマンティックセグメンテーションモジュール、アダプティブアテンションベースのセマンティックフュージョンモジュール、および3Dオブジェクト検出器の3つの主要モジュールで構成されている。
提案手法の有効性を,大規模なnuScenes検出ベンチマークで検証した。
論文 参考訳(メタデータ) (2021-06-23T14:53:22Z) - IAFA: Instance-aware Feature Aggregation for 3D Object Detection from a
Single Image [37.83574424518901]
単一の画像からの3Dオブジェクト検出は、自動運転において重要なタスクです。
本稿では,3次元物体検出の精度向上のために有用な情報を集約するインスタンス認識手法を提案する。
論文 参考訳(メタデータ) (2021-03-05T05:47:52Z) - PerMO: Perceiving More at Once from a Single Image for Autonomous
Driving [76.35684439949094]
単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。
私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。
我々はこれらのアルゴリズムを自律運転システムに統合した。
論文 参考訳(メタデータ) (2020-07-16T05:02:45Z) - SESS: Self-Ensembling Semi-Supervised 3D Object Detection [138.80825169240302]
具体的には、ラベルのない新しい未知のデータに基づくネットワークの一般化を促進するための、徹底的な摂動スキームを設計する。
我々のSESSは、50%のラベル付きデータを用いて、最先端の完全教師付き手法と比較して、競争性能を達成している。
論文 参考訳(メタデータ) (2019-12-26T08:48:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。