論文の概要: Towards Open-set Camera 3D Object Detection
- arxiv url: http://arxiv.org/abs/2406.17297v2
- Date: Thu, 27 Jun 2024 02:19:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-28 18:27:13.200907
- Title: Towards Open-set Camera 3D Object Detection
- Title(参考訳): オープンセットカメラ3Dオブジェクト検出に向けて
- Authors: Zhuolin He, Xinrun Li, Heng Gao, Jiachen Tang, Shoumeng Qiu, Wenfu Wang, Lvjian Lu, Xuchong Qiu, Xiangyang Xue, Jian Pu,
- Abstract要約: OS-Det3D (Open-set Camera 3D Object Detection) は、カメラ3D検出器が既知の物体と未知の物体の両方を識別する能力を高めるための2段階の訓練フレームワークである。
提案する3Dオブジェクト探索ネットワーク(ODN3D)は,3Dボックスの位置やスケールといった幾何学的手法を用いて,特に訓練されている。
未知のオブジェクトを識別する際の精度を高めるために,JOSモジュールを導入する。
- 参考スコア(独自算出の注目度): 32.922859871463835
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional camera 3D object detectors are typically trained to recognize a predefined set of known object classes. In real-world scenarios, these detectors may encounter unknown objects outside the training categories and fail to identify them correctly. To address this gap, we present OS-Det3D (Open-set Camera 3D Object Detection), a two-stage training framework enhancing the ability of camera 3D detectors to identify both known and unknown objects. The framework involves our proposed 3D Object Discovery Network (ODN3D), which is specifically trained using geometric cues such as the location and scale of 3D boxes to discover general 3D objects. ODN3D is trained in a class-agnostic manner, and the provided 3D object region proposals inherently come with data noise. To boost accuracy in identifying unknown objects, we introduce a Joint Objectness Selection (JOS) module. JOS selects the pseudo ground truth for unknown objects from the 3D object region proposals of ODN3D by combining the ODN3D objectness and camera feature attention objectness. Experiments on the nuScenes and KITTI datasets demonstrate the effectiveness of our framework in enabling camera 3D detectors to successfully identify unknown objects while also improving their performance on known objects.
- Abstract(参考訳): 従来のカメラ3Dオブジェクト検出器は通常、既定の既知のオブジェクトの集合を認識するために訓練される。
現実のシナリオでは、これらの検出器は訓練カテゴリー外の未知の物体に遭遇し、それらを正しく識別することができない。
このギャップに対処するため,OS-Det3D (Open-set Camera 3D Object Detection) は,カメラ3D検出器が未知の物体と未知の物体の両方を識別する能力を高めるための2段階のトレーニングフレームワークである。
提案する3Dオブジェクト探索ネットワーク(ODN3D)は,一般的な3Dオブジェクトを見つけるために,3Dボックスの位置や規模などの幾何学的手がかりを用いて特別に訓練されている。
ODN3Dはクラスに依存しない方法で訓練され、提供される3Dオブジェクト領域の提案には本質的にデータノイズが伴う。
未知のオブジェクトを識別する際の精度を高めるために,JOSモジュールを導入する。
JOSは、ODN3Dオブジェクトネスとカメラ特徴注目オブジェクトネスを組み合わせたODN3Dの3Dオブジェクト領域提案から、未知のオブジェクトに対する擬似基底真理を選択する。
nuScenesとKITTIデータセットの実験は、カメラ3D検出器が未知の物体を識別し、未知の物体の性能を向上する上で、我々のフレームワークの有効性を実証している。
関連論文リスト
- Improving Distant 3D Object Detection Using 2D Box Supervision [97.80225758259147]
遠方の物体の欠損した深さを回復するフレームワークであるLR3Dを提案する。
我々のフレームワークは汎用的であり、3D検出手法を広く活用する可能性がある。
論文 参考訳(メタデータ) (2024-03-14T09:54:31Z) - InseRF: Text-Driven Generative Object Insertion in Neural 3D Scenes [86.26588382747184]
InseRFは3次元シーンのNeRF再構成において生成物挿入のための新しい手法である。
ユーザが提供するテキスト記述と参照視点での2Dバウンディングボックスに基づいて、InseRFは3Dシーンで新しいオブジェクトを生成する。
論文 参考訳(メタデータ) (2024-01-10T18:59:53Z) - Object2Scene: Putting Objects in Context for Open-Vocabulary 3D
Detection [24.871590175483096]
ポイントクラウドベースのオープンボキャブラリ3Dオブジェクト検出は、トレーニングセットに地味なアノテーションを持たない3Dカテゴリを検出することを目的としている。
従来のアプローチでは、3Dとカテゴリのセマンティクスの橋渡しとして、大規模にリッチな注釈付き画像データセットを活用していた。
本研究では,大規模大語彙の3Dオブジェクトデータセットを活用する最初のアプローチであるObject2Sceneを提案し,オープンな3Dオブジェクト検出のために既存の3Dシーンデータセットを拡張する。
論文 参考訳(メタデータ) (2023-09-18T03:31:53Z) - OA-BEV: Bringing Object Awareness to Bird's-Eye-View Representation for
Multi-Camera 3D Object Detection [78.38062015443195]
OA-BEVは、BEVベースの3Dオブジェクト検出フレームワークにプラグインできるネットワークである。
提案手法は,BEV ベースラインに対する平均精度と nuScenes 検出スコアの両面で一貫した改善を実現する。
論文 参考訳(メタデータ) (2023-01-13T06:02:31Z) - Object as Query: Lifting any 2D Object Detector to 3D Detection [30.393111518104313]
マルチビュー2Dオブジェクトガイド3Dオブジェクト検出器(MV2D)を設計する。
MV2Dは2D検出器を利用してリッチな画像意味論に基づくオブジェクトクエリを生成する。
生成されたクエリに対して、特定のオブジェクトの特徴にフォーカスするように、スパースなクロスアテンションモジュールを設計する。
論文 参考訳(メタデータ) (2023-01-06T04:08:20Z) - SL3D: Self-supervised-Self-labeled 3D Recognition [89.19932178712065]
自己教師付き自己ラベル型3D認識(SL3D)フレームワークを提案する。
SL3Dはクラスタリングと学習機能表現という2つの結合した目的を同時に解決する。
分類、オブジェクト検出、セマンティックセグメンテーションなど、さまざまな3D認識タスクに応用することができる。
論文 参考訳(メタデータ) (2022-10-30T11:08:25Z) - CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。
我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。
3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
論文 参考訳(メタデータ) (2022-09-13T05:26:09Z) - HyperDet3D: Learning a Scene-conditioned 3D Object Detector [154.84798451437032]
本研究では3次元物体検出のためのシーン条件付き事前知識を探索するためにHyperDet3Dを提案する。
我々のHyperDet3Dは、ScanNetとSUN RGB-Dデータセットの3Dオブジェクト検出ベンチマークで最先端の結果を得る。
論文 参考訳(メタデータ) (2022-04-12T07:57:58Z) - Open-set 3D Object Detection [12.617115020561789]
本研究では, 未知の物体を識別し, 未知の物体を識別することを目的としたオープンセット3次元物体検出器を提案する。
提案手法は,メトリクス学習と教師なしクラスタリングを組み合わせたMLUCネットワークである。
実験の結果,我々のMLUCネットワークは最先端の性能を達成し,未知の物体と未知の物体の両方を期待通りに識別できることがわかった。
論文 参考訳(メタデータ) (2021-12-02T11:18:03Z) - 3D Object Recognition By Corresponding and Quantizing Neural 3D Scene
Representations [29.61554189447989]
本稿では,RGB-D画像からオブジェクトを検出し,その3Dポーズを推測するシステムを提案する。
多くの既存のシステムはオブジェクトを識別し、3Dのポーズを推測できるが、それらは人間のラベルや3Dアノテーションに大きく依存している。
論文 参考訳(メタデータ) (2020-10-30T13:56:09Z) - Weakly Supervised 3D Object Detection from Point Clouds [27.70180601788613]
3Dオブジェクト検出は、特定のクラスに属するオブジェクトの3D境界ボックスを検出し、ローカライズすることを目的としている。
既存の3Dオブジェクト検出器は、トレーニング中にアノテーション付き3Dバウンディングボックスに依存している。
基礎となる真理3D境界ボックスを使わずに点雲からの3Dオブジェクト検出を弱教師付きで行うためのフレームワークであるVS3Dを提案する。
論文 参考訳(メタデータ) (2020-07-28T03:30:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。