論文の概要: Vision-Language Guidance for LiDAR-based Unsupervised 3D Object Detection
- arxiv url: http://arxiv.org/abs/2408.03790v1
- Date: Wed, 7 Aug 2024 14:14:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 12:54:35.762441
- Title: Vision-Language Guidance for LiDAR-based Unsupervised 3D Object Detection
- Title（参考訳）: LiDARによる教師なし3次元物体検出のためのビジョンランゲージ誘導
- Authors: Christian Fruhwirth-Reisinger, Wei Lin, Dušan Malić, Horst Bischof, Horst Possegger,
- Abstract要約: 我々は,LiDAR点雲のみで動作する教師なし3次元検出手法を提案する。
我々は、クラスタリング、トラッキング、ボックステキスト、ラベルリファインメントなど、LiDARポイントクラウドの固有のCLI時間知識を活用している。
提案手法はオープンデータセット上での最先端の非教師なし3Dオブジェクト検出器よりも優れている。
- 参考スコア（独自算出の注目度）: 16.09503890891102
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Accurate 3D object detection in LiDAR point clouds is crucial for autonomous driving systems. To achieve state-of-the-art performance, the supervised training of detectors requires large amounts of human-annotated data, which is expensive to obtain and restricted to predefined object categories. To mitigate manual labeling efforts, recent unsupervised object detection approaches generate class-agnostic pseudo-labels for moving objects, subsequently serving as supervision signal to bootstrap a detector. Despite promising results, these approaches do not provide class labels or generalize well to static objects. Furthermore, they are mostly restricted to data containing multiple drives from the same scene or images from a precisely calibrated and synchronized camera setup. To overcome these limitations, we propose a vision-language-guided unsupervised 3D detection approach that operates exclusively on LiDAR point clouds. We transfer CLIP knowledge to classify point clusters of static and moving objects, which we discover by exploiting the inherent spatio-temporal information of LiDAR point clouds for clustering, tracking, as well as box and label refinement. Our approach outperforms state-of-the-art unsupervised 3D object detectors on the Waymo Open Dataset ($+23~\text{AP}_{3D}$) and Argoverse 2 ($+7.9~\text{AP}_{3D}$) and provides class labels not solely based on object size assumptions, marking a significant advancement in the field.
- Abstract（参考訳）: LiDARポイントクラウドにおける正確な3Dオブジェクト検出は、自律運転システムにとって不可欠である。
最先端の性能を達成するために、教師付き検知器の訓練には大量の人手による注釈データが必要であり、これは事前に定義された対象カテゴリの取得と制限が高価である。
手動ラベリングの取り組みを緩和するため、最近の教師なしオブジェクト検出アプローチでは、移動対象に対するクラスに依存しない擬似ラベルを生成し、その後、検出器をブートストラップする監視信号として機能する。
有望な結果にもかかわらず、これらのアプローチはクラスラベルを提供したり、静的オブジェクトにうまく一般化したりしない。
さらに、ほとんどの場合、同じシーンからの複数のドライブを含むデータや、正確に校正され同期化されたカメラ設定からのイメージに制限される。
これらの制限を克服するために,LiDAR点群のみで動作する視覚言語による教師なし3次元検出手法を提案する。
静的および動くオブジェクトのポイントクラスタを分類するためにCLIPの知識を転送し、クラスタリング、トラッキング、およびボックスとラベルのリファインメントのために、LiDARポイントクラウド固有の時空間情報を活用することで発見する。
提案手法は,Waymo Open Dataset(+23~\text{AP}_{3D}$)とArgoverse 2(+7.9～\text{AP}_{3D}$)の最先端の非教師対象3Dオブジェクト検出器より優れており,オブジェクトサイズの仮定にのみ基づかないクラスラベルを提供する。
関連論文リスト
- STONE: A Submodular Optimization Framework for Active 3D Object Detection [20.54906045954377]
正確な3Dオブジェクト検出器をトレーニングするための鍵となる要件は、大量のLiDARベースのポイントクラウドデータが利用できることである。
本稿では,3次元物体検出装置のトレーニングにおけるラベル付けコストを大幅に削減する,統合されたアクティブな3次元物体検出フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-04T20:45:33Z) - SeSame: Simple, Easy 3D Object Detection with Point-Wise Semantics [0.7373617024876725]
自律運転では、3Dオブジェクト検出は、経路計画や動き推定を含む下流タスクに対してより正確な情報を提供する。
本稿では,既存のLiDARのみに基づく3Dオブジェクト検出における意味情報の強化を目的としたSeSameを提案する。
KITTIオブジェクト検出ベンチマークにおいて,提案手法の有効性を示す実験を行った。
論文 参考訳（メタデータ） (2024-03-11T08:17:56Z) - SeMoLi: What Moves Together Belongs Together [51.72754014130369]
動作手がかりに基づく半教師付き物体検出に挑戦する。
近年,移動物体の擬似ラベルインスタンスに対して,動きに基づくクラスタリング手法が適用可能であることが示唆された。
我々は、このアプローチを再考し、オブジェクト検出とモーションインスパイアされた擬似ラベルの両方が、データ駆動方式で取り組めることを示唆する。
論文 参考訳（メタデータ） (2024-02-29T18:54:53Z) - PatchContrast: Self-Supervised Pre-training for 3D Object Detection [14.603858163158625]
PatchContrastは、3Dオブジェクト検出のための新しい自己教師付きポイントクラウド事前学習フレームワークである。
提案手法は,3つの一般的な3次元検出データセットにおいて,既存の最先端モデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-14T07:45:54Z) - Once Detected, Never Lost: Surpassing Human Performance in Offline LiDAR
based 3D Object Detection [50.959453059206446]
本稿では,高性能なオフラインLiDARによる3Dオブジェクト検出を実現することを目的とする。
まず、経験豊富な人間のアノテータが、トラック中心の視点でオブジェクトに注釈を付けるのを観察する。
従来のオブジェクト中心の視点ではなく,トラック中心の視点で高性能なオフライン検出器を提案する。
論文 参考訳（メタデータ） (2023-04-24T17:59:05Z) - A Lightweight and Detector-free 3D Single Object Tracker on Point Clouds [50.54083964183614]
生のLiDARスキャンにおける物体の点雲は、通常スパースで不完全であるため、正確な目標固有検出を行うのは簡単ではない。
DMTは、複雑な3D検出器の使用を完全に除去する3Dトラッキングネットワークである。
論文 参考訳（メタデータ） (2022-03-08T17:49:07Z) - ST3D++: Denoised Self-training for Unsupervised Domain Adaptation on 3D
Object Detection [78.71826145162092]
本稿では,ST3D++という名前の自己学習手法を提案する。
擬似ラベル生成プロセスにハイブリット品質を意識した三重項メモリを組み込むことにより、生成された擬似ラベルの品質と安定性を向上させる。
モデルトレーニングの段階では、ソースデータ支援トレーニング戦略とカリキュラムデータ拡張ポリシーを提案する。
論文 参考訳（メタデータ） (2021-08-15T07:49:06Z) - 3D Spatial Recognition without Spatially Labeled 3D [127.6254240158249]
Weakly-supervised framework for Point cloud Recognitionを紹介する。
We show that WyPR can detected and segment objects in point cloud data without access any space labels at training time。
論文 参考訳（メタデータ） (2021-05-13T17:58:07Z) - Unsupervised Object Detection with LiDAR Clues [70.73881791310495]
本稿では,LiDARの手がかりを用いた非教師対象検出のための最初の実用的手法を提案する。
提案手法では,まず3次元点雲に基づく候補オブジェクトセグメントを生成する。
そして、セグメントラベルを割り当て、セグメントラベルネットワークを訓練する反復的なセグメントラベル処理を行う。
ラベル付けプロセスは、長い尾とオープンエンドの分布の問題を軽減するために慎重に設計されている。
論文 参考訳（メタデータ） (2020-11-25T18:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。