論文の概要: WARM-3D: A Weakly-Supervised Sim2Real Domain Adaptation Framework for Roadside Monocular 3D Object Detection
- arxiv url: http://arxiv.org/abs/2407.20818v1
- Date: Tue, 30 Jul 2024 13:32:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 17:10:01.068000
- Title: WARM-3D: A Weakly-Supervised Sim2Real Domain Adaptation Framework for Roadside Monocular 3D Object Detection
- Title（参考訳）: WARM-3D:道路側モノクロ3次元物体検出のための弱改良型Sim2Real領域適応フレームワーク
- Authors: Xingcheng Zhou, Deyu Fu, Walter Zimmer, Mingyu Liu, Venkatnarayanan Lakshminarasimhan, Leah Strand, Alois C. Knoll,
- Abstract要約: 既存の路面認識システムは、公開され、大規模で高品質な3Dデータセットが存在しないために制限されている。
我々はTUMTraf Syntheticデータセットを導入し,高品質な3Dデータの多種多様なコレクションを提供する。
また,道路側モノクロ3D検出のためのSim2Realドメイン転送を支援するフレームワークであるWARM-3Dを提案する。
- 参考スコア（独自算出の注目度）: 23.07748567871443
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing roadside perception systems are limited by the absence of publicly available, large-scale, high-quality 3D datasets. Exploring the use of cost-effective, extensive synthetic datasets offers a viable solution to tackle this challenge and enhance the performance of roadside monocular 3D detection. In this study, we introduce the TUMTraf Synthetic Dataset, offering a diverse and substantial collection of high-quality 3D data to augment scarce real-world datasets. Besides, we present WARM-3D, a concise yet effective framework to aid the Sim2Real domain transfer for roadside monocular 3D detection. Our method leverages cheap synthetic datasets and 2D labels from an off-the-shelf 2D detector for weak supervision. We show that WARM-3D significantly enhances performance, achieving a +12.40% increase in mAP 3D over the baseline with only pseudo-2D supervision. With 2D GT as weak labels, WARM-3D even reaches performance close to the Oracle baseline. Moreover, WARM-3D improves the ability of 3D detectors to unseen sample recognition across various real-world environments, highlighting its potential for practical applications.
- Abstract（参考訳）: 既存の道路側の認識システムは、公開され、大規模で高品質な3Dデータセットが存在しないために制限されている。
コスト効率のよい大規模な合成データセットの使用を探索することで、この課題に対処し、道路側モノクロ3D検出の性能を高めるための実行可能なソリューションを提供する。
本研究では,TUMTraf Synthetic Datasetを導入し,希少な実世界のデータセットを増大させるために,多種多様な高品質な3Dデータのコレクションを提供する。
さらに、道路側モノクロ3D検出のためのSim2Realドメイン転送を支援するための簡潔で効果的なフレームワークであるWARM-3Dを提案する。
本手法は、市販の2D検出器から安価な合成データセットと2Dラベルを利用して、弱い監視を行う。
We show that WARM-3D has significantly enhance performance, to achieve a +12.40% increase of mAP 3D over the baseline with only pseudo-2D supervision。
2D GTを弱いラベルとして、WARM-3DはOracleのベースラインに近いパフォーマンスにまで達する。
さらに、WARM-3Dは実世界の様々な環境にまたがってサンプル認識を行う3D検出器の能力を向上し、実用的な応用の可能性を強調している。
関連論文リスト
- SurgTrack: CAD-Free 3D Tracking of Real-world Surgical Instruments [21.536823332387993]
視覚に基づく手術ナビゲーションは、非侵襲的で費用対効果があり柔軟な利点のために注目されている。
特に、視覚ベースのナビゲーションシステムの重要な要素は、手術器具を追跡することである。
CADフリーでロバストな実世界のアプリケーションのための2段階の3D計測手法であるSurgTrackを提案する。
論文 参考訳（メタデータ） (2024-09-04T10:29:59Z) - Semi-supervised 3D Semantic Scene Completion with 2D Vision Foundation Model Guidance [11.090775523892074]
我々は、高密度な注釈付きデータへの依存を軽減するために、新しい半教師付きフレームワークを導入する。
提案手法は2次元基礎モデルを用いて3次元シーンの幾何学的・意味的手がかりを生成する。
本手法は,10%のラベル付きデータを用いて全教師付き性能の最大85%を達成する。
論文 参考訳（メタデータ） (2024-08-21T12:13:18Z) - Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。
本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。
3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
論文 参考訳（メタデータ） (2024-04-10T03:54:53Z) - Every Dataset Counts: Scaling up Monocular 3D Object Detection with Joint Datasets Training [9.272389295055271]
本研究では,多種多様な3次元および2次元データセットを用いたモノクロ3次元物体検出モデルの学習パイプラインについて検討した。
提案フレームワークは,(1)様々なカメラ設定にまたがって機能するロバストなモノクル3Dモデル,(2)異なるクラスアノテーションでデータセットを適応するための選択学習戦略,(3)2Dラベルを用いた擬似3Dトレーニング手法により,2Dラベルのみを含むシーンにおける検出性能を向上させる。
論文 参考訳（メタデータ） (2023-10-02T06:17:24Z) - Real3D-AD: A Dataset of Point Cloud Anomaly Detection [75.56719157477661]
本稿では,高精度なクラウド異常検出データセットであるReal3D-ADを紹介する。
1,254個の高解像度の3Dアイテムが、各項目に4万から数百万のポイントがあり、Real3D-ADは高精度な3D産業異常検出のための最大のデータセットである。
本稿では,高精度点雲異常検出のためのベースライン手法が存在しないことを明らかにする,Real3D-ADの総合ベンチマークを提案する。
論文 参考訳（メタデータ） (2023-09-23T00:43:38Z) - 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。
まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。
そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
論文 参考訳（メタデータ） (2023-03-18T05:51:05Z) - HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for
Autonomous Driving [95.42203932627102]
3Dの人間のポーズ推定は、自動運転車が歩行者の微妙で複雑な振る舞いを知覚し理解できるようにする新しい技術である。
提案手法は,これらの補完信号を半教師付き方式で効率的に利用し,既存の手法よりも大きなマージンで性能を向上する。
具体的には、LiDAR点を画素整列マルチモーダル特徴に埋め込み、トランスフォーマーの精細化段階を経る。
論文 参考訳（メタデータ） (2022-12-15T11:15:14Z) - Aerial Monocular 3D Object Detection [46.26215100532241]
本研究は,2次元画像空間と3次元物理空間の両方において,空中単分子物体検出を実現するために,DVDETというデュアルビュー検出システムを提案する。
この課題に対処するため,AirSIMとCARLAの共同シミュレーションによって生成されたAM3D-Simという新しい大規模シミュレーションデータセットと,DJI Matrice 300 RTKによって収集されたAM3D-Realという新しい実世界の空中データセットを提案する。
論文 参考訳（メタデータ） (2022-08-08T08:32:56Z) - Domain Adaptive 3D Pose Augmentation for In-the-wild Human Mesh Recovery [32.73513554145019]
Domain Adaptive 3D Pose Augmentation (DAPA)は、Wildのシナリオにおけるモデルの一般化能力を向上するデータ拡張手法である。
DAPAによる微調整が3DPWとAGORAのベンチマークの結果を効果的に改善できることを定量的に示す。
論文 参考訳（メタデータ） (2022-06-21T15:02:31Z) - Homography Loss for Monocular 3D Object Detection [54.04870007473932]
ホログラフィーロス(Homography Loss)と呼ばれる,2次元情報と3次元情報の両方を利用する識別可能なロス関数を提案する。
提案手法は,KITTI 3Dデータセットにおいて,他の最先端技術と比較して高い性能を示す。
論文 参考訳（メタデータ） (2022-04-02T03:48:03Z) - Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D
Human Pose Estimation [107.07047303858664]
3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。
既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。
結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
論文 参考訳（メタデータ） (2020-04-07T20:21:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。