論文の概要: Point-DETR3D: Leveraging Imagery Data with Spatial Point Prior for Weakly Semi-supervised 3D Object Detection

• arxiv url: http://arxiv.org/abs/2403.15317v2
• Date: Mon, 25 Mar 2024 16:45:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 22:51:48.548629
• Title: Point-DETR3D: Leveraging Imagery Data with Spatial Point Prior for Weakly Semi-supervised 3D Object Detection
• Title（参考訳）: 点DETR3D:弱半教師付き3次元物体検出に先立って空間点を用いた画像データを活用する
• Authors: Hongzhi Gao, Zheng Chen, Zehui Chen, Lin Chen, Jiaming Liu, Shanghang Zhang, Feng Zhao,
• Abstract要約: 本稿では,弱半教師付き3D検出のための教師支援フレームワークであるPoint-DETR3Dを紹介する。 ラベル付きデータの5%しか持たないPoint-DETR3Dは、完全な教師付きデータのパフォーマンスを90%以上達成している。
• 参考スコア（独自算出の注目度）: 32.86369670395974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training high-accuracy 3D detectors necessitates massive labeled 3D annotations with 7 degree-of-freedom, which is laborious and time-consuming. Therefore, the form of point annotations is proposed to offer significant prospects for practical applications in 3D detection, which is not only more accessible and less expensive but also provides strong spatial information for object localization. In this paper, we empirically discover that it is non-trivial to merely adapt Point-DETR to its 3D form, encountering two main bottlenecks: 1) it fails to encode strong 3D prior into the model, and 2) it generates low-quality pseudo labels in distant regions due to the extreme sparsity of LiDAR points. To overcome these challenges, we introduce Point-DETR3D, a teacher-student framework for weakly semi-supervised 3D detection, designed to fully capitalize on point-wise supervision within a constrained instance-wise annotation budget.Different from Point-DETR which encodes 3D positional information solely through a point encoder, we propose an explicit positional query initialization strategy to enhance the positional prior. Considering the low quality of pseudo labels at distant regions produced by the teacher model, we enhance the detector's perception by incorporating dense imagery data through a novel Cross-Modal Deformable RoI Fusion (D-RoI).Moreover, an innovative point-guided self-supervised learning technique is proposed to allow for fully exploiting point priors, even in student models.Extensive experiments on representative nuScenes dataset demonstrate our Point-DETR3D obtains significant improvements compared to previous works. Notably, with only 5% of labeled data, Point-DETR3D achieves over 90% performance of its fully supervised counterpart.
• Abstract（参考訳）: 高精度な3D検出器の訓練には、大量のラベル付き3Dアノテーションと7度の自由度を必要とする。 そこで, 点アノテーションの形式は, よりアクセシビリティが高く, 安価であるとともに, 物体位置定位のための強力な空間情報を提供する3次元検出における実用的可能性を示すために提案されている。 本稿では,Point-DETRをその3D形式に適応させることは自明ではないことを実証的に発見し,主なボトルネックを2つ挙げる。 1) モデルに前もって強靭な3Dの符号化に失敗し、 2) LiDAR 点の極端に間隔があるため, 遠隔地で低品質な擬似ラベルを生成する。 これらの課題を克服するために、制約されたインスタンス単位のアノテーション予算内でポイント単位の監視をフルに活用するために設計された弱半教師付き3D検出のための教師主導のフレームワークであるPoint-DETR3Dを紹介し、ポイントエンコーダを介してのみ3D位置情報を符号化するPoint-DETRとは違い、位置の事前性を高めるための明示的な位置クエリ初期化戦略を提案する。 教師モデルによる遠隔地における擬似ラベルの品質の低さを考慮し,新しいクロスモーダル変形型RoI核融合(D-RoI)を通じて高密度画像データを統合することにより,検出者の知覚を高める。 さらに,学生モデルにおいても,先進点を十分に活用するために,革新的なポイント誘導型自己教師学習手法が提案されている。 特に、ラベル付きデータの5%しか持たないPoint-DETR3Dは、完全な教師付きデータのパフォーマンスを90%以上達成している。

関連論文リスト

• STONE: A Submodular Optimization Framework for Active 3D Object Detection [20.54906045954377]
  正確な3Dオブジェクト検出器をトレーニングするための鍵となる要件は、大量のLiDARベースのポイントクラウドデータが利用できることである。 本稿では,3次元物体検出装置のトレーニングにおけるラベル付けコストを大幅に削減する,統合されたアクティブな3次元物体検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-04T20:45:33Z)
• Dual-Perspective Knowledge Enrichment for Semi-Supervised 3D Object Detection [55.210991151015534]
  本稿では, DPKE という新しい2次元知識豊か化手法を提案する。 我々のDPKEは、データパースペクティブと機能パースペクティブという2つの観点から、限られたトレーニングデータ、特にラベルなしデータの知識を豊かにしています。
  論文  参考訳（メタデータ） (2024-01-10T08:56:07Z)
• 3D Cascade RCNN: High Quality Object Detection in Point Clouds [122.42455210196262]
  本稿では3次元カスケードRCNNを提案する。これはカスケードパラダイムにおいて、酸化点雲に基づいて複数の検出器を割り当てる。 提案する3次元カスケードRCNNは,最先端の3次元物体検出技術と比較した場合の優位性を検証した。
  論文  参考訳（メタデータ） (2022-11-15T15:58:36Z)
• Label-Guided Auxiliary Training Improves 3D Object Detector [32.96310946612949]
  3次元物体検出(LG3D)のためのラベル誘導補助訓練法を提案する。 提案したLG3Dは,SUN RGB-DおよびScanNetV2データセット上でVoteNetを2.5%,3.1%改善する。
  論文  参考訳（メタデータ） (2022-07-24T14:22:21Z)
• SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection [78.90102636266276]
  SASA(Semantics-Augmented Set Abstraction)と呼ばれる新しい集合抽象化手法を提案する。 そこで本研究では, 推定点前景スコアに基づいて, より重要な前景点の維持を支援するセマンティックス誘導点サンプリングアルゴリズムを提案する。 実際には、SASAは、前景オブジェクトに関連する貴重な点を識別し、ポイントベースの3D検出のための特徴学習を改善するのに有効である。
  論文  参考訳（メタデータ） (2022-01-06T08:54:47Z)
• Semi-supervised 3D Object Detection via Adaptive Pseudo-Labeling [18.209409027211404]
  3次元物体検出はコンピュータビジョンにおいて重要な課題である。 既存のほとんどのメソッドでは、多くの高品質な3Dアノテーションが必要です。 本研究では,屋外3次元物体検出タスクのための擬似ラベルに基づく新しい半教師付きフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-15T02:58:43Z)
• Progressive Coordinate Transforms for Monocular 3D Object Detection [52.00071336733109]
  本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。 本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-08-12T15:22:33Z)
• 3D Spatial Recognition without Spatially Labeled 3D [127.6254240158249]
  Weakly-supervised framework for Point cloud Recognitionを紹介する。 We show that WyPR can detected and segment objects in point cloud data without access any space labels at training time。
  論文  参考訳（メタデータ） (2021-05-13T17:58:07Z)
• ST3D: Self-training for Unsupervised Domain Adaptation on 3D ObjectDetection [78.71826145162092]
  点雲からの3次元物体検出における教師なし領域適応のための新しい領域適応型自己学習パイプラインST3Dを提案する。 当社のST3Dは、評価されたすべてのデータセットで最先端のパフォーマンスを達成し、KITTI 3Dオブジェクト検出ベンチマークで完全に監視された結果を超えます。
  論文  参考訳（メタデータ） (2021-03-09T10:51:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。