Fugu-MT 論文翻訳(概要): PAI3D: Painting Adaptive Instance-Prior for 3D Object Detection

論文の概要: PAI3D: Painting Adaptive Instance-Prior for 3D Object Detection

arxiv url: http://arxiv.org/abs/2211.08055v1
Date: Tue, 15 Nov 2022 11:15:25 GMT
ステータス: 処理完了
システム内更新日: 2022-11-16 15:02:27.992579
Title: PAI3D: Painting Adaptive Instance-Prior for 3D Object Detection
Title（参考訳）: pai3d: 3次元物体検出のためのpaint adaptive instance-prior
Authors: Hao Liu, Zhuoran Xu, Dan Wang, Baofeng Zhang, Guan Wang, Bo Dong, Xin Wen, and Xinyu Xu
Abstract要約: Painting Adaptive Instance-prior for 3D Object Detection (PAI3D)は、シーケンシャルなインスタンスレベルの融合フレームワークである。まず、画像からインスタンスレベルの意味情報を抽出する。次に、オブジェクト分類ラベル、ポイント・ツー・オブジェクト・メンバシップ、オブジェクト位置を含む抽出情報を用いて、その後の3D検出ネットワークにおける各LiDARポイントを増強する。
参考スコア（独自算出の注目度）: 22.41785292720421
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: 3D object detection is a critical task in autonomous driving. Recently multi-modal fusion-based 3D object detection methods, which combine the complementary advantages of LiDAR and camera, have shown great performance improvements over mono-modal methods. However, so far, no methods have attempted to utilize the instance-level contextual image semantics to guide the 3D object detection. In this paper, we propose a simple and effective Painting Adaptive Instance-prior for 3D object detection (PAI3D) to fuse instance-level image semantics flexibly with point cloud features. PAI3D is a multi-modal sequential instance-level fusion framework. It first extracts instance-level semantic information from images, the extracted information, including objects categorical label, point-to-object membership and object position, are then used to augment each LiDAR point in the subsequent 3D detection network to guide and improve detection performance. PAI3D outperforms the state-of-the-art with a large margin on the nuScenes dataset, achieving 71.4 in mAP and 74.2 in NDS on the test split. Our comprehensive experiments show that instance-level image semantics contribute the most to the performance gain, and PAI3D works well with any good-quality instance segmentation models and any modern point cloud 3D encoders, making it a strong candidate for deployment on autonomous vehicles.
Abstract（参考訳）: 3Dオブジェクト検出は、自動運転において重要なタスクである。近年,LiDARとカメラの相補的な利点を組み合わせたマルチモーダル融合型3Dオブジェクト検出法が,モノモーダル法よりも優れた性能を示した。しかし,これまで3Dオブジェクト検出を導くために,インスタンスレベルの文脈的イメージセマンティクスを利用した手法は存在しなかった。本稿では,3次元オブジェクト検出のための簡易かつ効果的なPainting Adaptive Instance-prior(PAI3D)を提案する。 pai3dはマルチモーダルシーケンシャルなインスタンスレベルの融合フレームワークである。まず、画像からインスタンスレベルのセマンティック情報を抽出し、対象分類ラベル、ポイント・ツー・オブジェクト・メンバシップ、オブジェクト位置を含む抽出情報を用いて、その後の3D検出ネットワークにおける各LiDARポイントを拡大して検出性能を誘導し改善する。 PAI3Dは、nuScenesデータセットで最先端のマージンを達成し、テストスプリットで71.4、NDSで74.2を達成した。私たちの包括的な実験では、インスタンスレベルのイメージセマンティクスがパフォーマンス向上に最も寄与していることが示され、pai3dは高品質なインスタンスセグメンテーションモデルやモダンなpoint cloud 3dエンコーダとうまく連携し、自動運転車への展開の強力な候補となります。

関連論文リスト

VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文参考訳（メタデータ） (2024-04-15T03:12:12Z)
ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance [76.7746870349809]
複雑な構成で高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseについて,複数のモデルを組み合わせることを学習して紹介する。提案手法は,標準スコア蒸留法と比較して,物体の空間的アライメントを重視している。
論文参考訳（メタデータ） (2024-03-19T03:39:43Z)
3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
論文参考訳（メタデータ） (2023-11-07T23:46:41Z)
SOGDet: Semantic-Occupancy Guided Multi-view 3D Object Detection [19.75965521357068]
本稿では,SOGDet(Semantic-Occupancy Guided Multi-view Object Detection)と呼ばれる新しい手法を提案する。以上の結果から,SOGDet は nuScenes Detection Score (NDS) と平均平均精度 (mAP) の3つのベースライン法の性能を一貫して向上させることがわかった。これは、3Dオブジェクト検出と3Dセマンティック占有の組み合わせが、3D環境をより包括的に認識し、より堅牢な自律運転システムの構築を支援することを示唆している。
論文参考訳（メタデータ） (2023-08-26T07:38:21Z)
Multi-Sem Fusion: Multimodal Semantic Fusion for 3D Object Detection [11.575945934519442]
LiDARとカメラ融合技術は、自律運転において3次元物体検出を実現することを約束している。多くのマルチモーダルな3Dオブジェクト検出フレームワークは、2D画像からのセマンティック知識を3D LiDARポイントクラウドに統合する。本稿では2次元画像と3次元ポイントシーン解析結果の両方から意味情報を融合する汎用多モード融合フレームワークであるMulti-Sem Fusion(MSF)を提案する。
論文参考訳（メタデータ） (2022-12-10T10:54:41Z)
Paint and Distill: Boosting 3D Object Detection with Semantic Passing Network [70.53093934205057]
ライダーやカメラセンサーからの3Dオブジェクト検出タスクは、自動運転に不可欠である。本研究では,既存のライダーベース3D検出モデルの性能向上を図るために,SPNetという新しいセマンティックパスフレームワークを提案する。
論文参考訳（メタデータ） (2022-07-12T12:35:34Z)
Image-to-Lidar Self-Supervised Distillation for Autonomous Driving Data [80.14669385741202]
本稿では,自律運転データに適した3次元知覚モデルのための自己教師付き事前学習手法を提案する。我々は、自動走行装置における同期・校正画像とLidarセンサーの可用性を活用している。私たちのメソッドは、ポイントクラウドや画像アノテーションを一切必要としません。
論文参考訳（メタデータ） (2022-03-30T12:40:30Z)
FusionPainting: Multimodal Fusion with Adaptive Attention for 3D Object Detection [15.641616738865276]
本稿では,2次元RGB画像と3次元点群をセマンティックレベルで融合させて3次元物体検出タスクを増強する汎用多モード核融合フレームワークFusionPaintingを提案する。特にFusionPaintingフレームワークは、マルチモーダルセマンティックセグメンテーションモジュール、アダプティブアテンションベースのセマンティックフュージョンモジュール、および3Dオブジェクト検出器の3つの主要モジュールで構成されている。提案手法の有効性を,大規模なnuScenes検出ベンチマークで検証した。
論文参考訳（メタデータ） (2021-06-23T14:53:22Z)
IAFA: Instance-aware Feature Aggregation for 3D Object Detection from a Single Image [37.83574424518901]
単一の画像からの3Dオブジェクト検出は、自動運転において重要なタスクです。本稿では,3次元物体検出の精度向上のために有用な情報を集約するインスタンス認識手法を提案する。
論文参考訳（メタデータ） (2021-03-05T05:47:52Z)
PerMO: Perceiving More at Once from a Single Image for Autonomous Driving [76.35684439949094]
単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。我々はこれらのアルゴリズムを自律運転システムに統合した。
論文参考訳（メタデータ） (2020-07-16T05:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。