論文の概要: 2D Supervised Monocular 3D Object Detection by Global-to-Local 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2306.05418v1
• Date: Thu, 8 Jun 2023 17:58:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 12:58:06.104372
• Title: 2D Supervised Monocular 3D Object Detection by Global-to-Local 3D Reconstruction
• Title（参考訳）: グローバル・ローカル3次元再構成による2次元単眼物体検出
• Authors: Jiawei He, Yuqi Wang, Yuntao Chen, Zhaoxiang Zhang
• Abstract要約: BA$2$-Detと呼ばれる2次元教師付きモノクロ3Dオブジェクト検出のための新しいパラダイムを提案する。 具体的には,シーンレベルのグローバル再構成とグローバルバンドル調整により,モノクロ映像から3次元構造を復元する。 また、オブジェクト中心のローカルBAを持つLBA-Learnerをトレーニングし、生成された3D擬似ラベルを移動オブジェクトに一般化する。
• 参考スコア（独自算出の注目度）: 53.914249104337514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advent of the big model era, the demand for data has become more important. Especially in monocular 3D object detection, expensive manual annotations potentially limit further developments. Existing works have investigated weakly supervised algorithms with the help of LiDAR modality to generate 3D pseudo labels, which cannot be applied to ordinary videos. In this paper, we propose a novel paradigm, termed as BA$^2$-Det, leveraging the idea of global-to-local 3D reconstruction for 2D supervised monocular 3D object detection. Specifically, we recover 3D structures from monocular videos by scene-level global reconstruction with global bundle adjustment (BA) and obtain object clusters by the DoubleClustering algorithm. Learning from completely reconstructed objects in global BA, GBA-Learner predicts pseudo labels for occluded objects. Finally, we train an LBA-Learner with object-centric local BA to generalize the generated 3D pseudo labels to moving objects. Experiments on the large-scale Waymo Open Dataset show that the performance of BA$^2$-Det is on par with the fully-supervised BA-Det trained with 10% videos and even outperforms some pioneer fully-supervised methods. We also show the great potential of BA$^2$-Det for detecting open-set 3D objects in complex scenes. The code will be made available. Project page: https://ba2det.site .
• Abstract（参考訳）: ビッグデータ時代の到来とともに、データに対する需要はますます重要になっている。 特にモノクロの3dオブジェクト検出では、高価な手動アノテーションはさらなる開発を制限する可能性がある。 既存の研究は、lidarモダリティを用いて弱い教師付きアルゴリズムを調査し、通常のビデオには適用できない3d擬似ラベルを生成する。 本稿では,2次元教師付き単眼物体検出のためのグローバル・ツー・ローカル3次元再構成の考え方を活かし,ba$^2$-detと呼ばれる新しいパラダイムを提案する。 具体的には,シーンレベルのグローバル再構築とグローバルバンドル調整(BA)によりモノクロ映像から3次元構造を復元し,DoubleClusteringアルゴリズムによりオブジェクトクラスタを得る。 GBA-LearnerはグローバルBAで完全に再構成されたオブジェクトから学習し、隠蔽されたオブジェクトの擬似ラベルを予測する。 最後に、オブジェクト中心のローカルBAを持つLBA-Learnerをトレーニングし、生成された3D擬似ラベルを移動オブジェクトに一般化する。 大規模なwaymo open datasetの実験では、ba$^2$-detのパフォーマンスは、10%の動画でトレーニングされた完全教師付きba-detと同等であり、さらには先駆的な完全教師付きメソッドよりも優れていることが示されている。 また,複雑な場面でオープンセット3Dオブジェクトを検出するBA$^2$-Detの可能性を示す。 コードは利用可能になります。 プロジェクトページ: https://ba2det.site 。

関連論文リスト

• General Geometry-aware Weakly Supervised 3D Object Detection [62.26729317523975]
  RGB画像と関連する2Dボックスから3Dオブジェクト検出器を学習するための統合フレームワークを開発した。 KITTIとSUN-RGBDデータセットの実験により,本手法は驚くほど高品質な3次元境界ボックスを2次元アノテーションで生成することを示した。
  論文  参考訳（メタデータ） (2024-07-18T17:52:08Z)
• LASA: Instance Reconstruction from Real Scans using A Large-scale Aligned Shape Annotation Dataset [17.530432165466507]
  本稿では,新しいクロスモーダル形状再構成法とOccGOD法を提案する。 本手法は,インスタンスレベルのシーン再構成と3次元オブジェクト検出の両タスクにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T18:50:10Z)
• DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields [68.94868475824575]
  本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。 我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。 トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
  論文  参考訳（メタデータ） (2023-11-18T21:58:28Z)
• U3DS$^3$: Unsupervised 3D Semantic Scene Segmentation [19.706172244951116]
  本稿では,U3DS$3$について,総合的な3Dシーンに対して,完全に教師なしのポイントクラウドセグメンテーションに向けたステップとして提示する。 提案手法の最初のステップは,各シーンの幾何学的特徴に基づいてスーパーポイントを生成することである。 次に、空間クラスタリングに基づく手法を用いて学習プロセスを行い、次いで、クラスタセントロイドに応じて生成された擬似ラベルを用いて反復的なトレーニングを行う。
  論文  参考訳（メタデータ） (2023-11-10T12:05:35Z)
• Point2Seq: Detecting 3D Objects as Sequences [58.63662049729309]
  我々は、ポイントクラウドから3次元オブジェクトを検出するためのシンプルで効果的なフレームワーク、Point2Seqを提案する。 我々は,各3Dオブジェクトを単語列とみなし,その3Dオブジェクト検出タスクを,自動回帰的に3Dシーンからの単語の復号化として再構成する。
  論文  参考訳（メタデータ） (2022-03-25T00:20:31Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• SESS: Self-Ensembling Semi-Supervised 3D Object Detection [138.80825169240302]
  具体的には、ラベルのない新しい未知のデータに基づくネットワークの一般化を促進するための、徹底的な摂動スキームを設計する。 我々のSESSは、50%のラベル付きデータを用いて、最先端の完全教師付き手法と比較して、競争性能を達成している。
  論文  参考訳（メタデータ） (2019-12-26T08:48:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。