論文の概要: DriveGEN: Generalized and Robust 3D Detection in Driving via Controllable Text-to-Image Diffusion Generation

• arxiv url: http://arxiv.org/abs/2503.11122v1
• Date: Fri, 14 Mar 2025 06:35:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:07:22.256837
• Title: DriveGEN: Generalized and Robust 3D Detection in Driving via Controllable Text-to-Image Diffusion Generation
• Title（参考訳）: DriveGEN:制御可能なテキスト・画像拡散生成による運転時の一般化とロバストな3次元検出
• Authors: Hongbin Lin, Zilu Guo, Yifan Zhang, Shuaicheng Niu, Yafeng Li, Ruimao Zhang, Shuguang Cui, Zhen Li,
• Abstract要約: DriveGENは、トレーニング不要のテキストから画像への拡散生成である。 様々なアウト・オブ・ディストリビューション世代にまたがる正確な3D形状のオブジェクトを一貫して保存する。
• 参考スコア（独自算出の注目度）: 49.32104127246474
• License:
• Abstract: In autonomous driving, vision-centric 3D detection aims to identify 3D objects from images. However, high data collection costs and diverse real-world scenarios limit the scale of training data. Once distribution shifts occur between training and test data, existing methods often suffer from performance degradation, known as Out-of-Distribution (OOD) problems. To address this, controllable Text-to-Image (T2I) diffusion offers a potential solution for training data enhancement, which is required to generate diverse OOD scenarios with precise 3D object geometry. Nevertheless, existing controllable T2I approaches are restricted by the limited scale of training data or struggle to preserve all annotated 3D objects. In this paper, we present DriveGEN, a method designed to improve the robustness of 3D detectors in Driving via Training-Free Controllable Text-to-Image Diffusion Generation. Without extra diffusion model training, DriveGEN consistently preserves objects with precise 3D geometry across diverse OOD generations, consisting of 2 stages: 1) Self-Prototype Extraction: We empirically find that self-attention features are semantic-aware but require accurate region selection for 3D objects. Thus, we extract precise object features via layouts to capture 3D object geometry, termed self-prototypes. 2) Prototype-Guided Diffusion: To preserve objects across various OOD scenarios, we perform semantic-aware feature alignment and shallow feature alignment during denoising. Extensive experiments demonstrate the effectiveness of DriveGEN in improving 3D detection. The code is available at https://github.com/Hongbin98/DriveGEN.
• Abstract（参考訳）: 自律運転では、視覚中心の3D検出は画像から3Dオブジェクトを識別することを目的としている。 しかし、高いデータ収集コストと多様な実世界のシナリオは、トレーニングデータの規模を制限する。 トレーニングデータとテストデータの間で分散シフトが発生した場合、既存のメソッドはしばしば、out-of-Distribution (OOD)問題と呼ばれるパフォーマンス劣化に悩まされる。 これを解決するために、制御可能なテキスト・トゥ・イメージ(T2I)拡散は、データ拡張をトレーニングするための潜在的なソリューションを提供する。 それでも、既存の制御可能なT2Iアプローチは、訓練データの限られた規模や、注釈付き3Dオブジェクトの保存に苦慮している。 本稿では, 学習自由制御型テキスト・画像拡散生成による運転時の3次元検出器のロバスト性向上を目的としたDriveGENを提案する。 余分な拡散モデルトレーニングがなければ、DriveGENは2つの段階からなる様々なOOD世代にわたる正確な3D形状のオブジェクトを一貫して保存する。 1) 自己プロトタイプ抽出: 自己意図的特徴は意味認識できるが, 正確な領域選択が必要であることを実証的に見出した。 そこで我々は,3次元オブジェクト形状を抽出するために,レイアウトを用いて精密なオブジェクト特徴を抽出する。 2) Prototype-Guided Diffusion: 様々なOODシナリオにまたがるオブジェクトを保存するために,Denoising中にセマンティック・アウェアな特徴アライメントと浅い特徴アライメントを実行する。 大規模な実験は、DriveGENが3D検出を改善する効果を実証している。 コードはhttps://github.com/Hongbin98/DriveGENで公開されている。

関連論文リスト

• ImOV3D: Learning Open-Vocabulary Point Clouds 3D Object Detection from Only 2D Images [19.02348585677397]
  Open-vocabulary 3D object Detection (OV-3Det) は、トレーニングフェーズ中にラベル付けされたベースカテゴリの限られた数を超えて一般化することを目的としている。 最大のボトルネックは、注釈付き3Dデータの不足であるのに対して、2D画像データセットは豊富で豊富な注釈付きである。 画像と点雲(PC)の両方を含む擬似マルチモーダル表現を利用してモダリティギャップを埋める新しいフレームワークImOV3Dを提案する。
  論文  参考訳（メタデータ） (2024-10-31T15:02:05Z)
• OV-Uni3DETR: Towards Unified Open-Vocabulary 3D Object Detection via Cycle-Modality Propagation [67.56268991234371]
  OV-Uni3DETRは、様々なシナリオにおける最先端のパフォーマンスを達成し、既存のメソッドを平均6%以上上回っている。 コードと事前訓練されたモデルは、後にリリースされる。
  論文  参考訳（メタデータ） (2024-03-28T17:05:04Z)
• X-Dreamer: Creating High-quality 3D Content by Bridging the Domain Gap Between Text-to-2D and Text-to-3D Generation [61.48050470095969]
  X-Dreamerは高品質なテキストから3Dコンテンツを作成するための新しいアプローチである。 テキスト対2D合成とテキスト対3D合成のギャップを埋める。
  論文  参考訳（メタデータ） (2023-11-30T07:23:00Z)
• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• SOGDet: Semantic-Occupancy Guided Multi-view 3D Object Detection [19.75965521357068]
  本稿では,SOGDet(Semantic-Occupancy Guided Multi-view Object Detection)と呼ばれる新しい手法を提案する。 以上の結果から,SOGDet は nuScenes Detection Score (NDS) と平均平均精度 (mAP) の3つのベースライン法の性能を一貫して向上させることがわかった。 これは、3Dオブジェクト検出と3Dセマンティック占有の組み合わせが、3D環境をより包括的に認識し、より堅牢な自律運転システムの構築を支援することを示唆している。
  論文  参考訳（メタデータ） (2023-08-26T07:38:21Z)
• Homography Loss for Monocular 3D Object Detection [54.04870007473932]
  ホログラフィーロス(Homography Loss)と呼ばれる,2次元情報と3次元情報の両方を利用する識別可能なロス関数を提案する。 提案手法は,KITTI 3Dデータセットにおいて,他の最先端技術と比較して高い性能を示す。
  論文  参考訳（メタデータ） (2022-04-02T03:48:03Z)
• SESS: Self-Ensembling Semi-Supervised 3D Object Detection [138.80825169240302]
  具体的には、ラベルのない新しい未知のデータに基づくネットワークの一般化を促進するための、徹底的な摂動スキームを設計する。 我々のSESSは、50%のラベル付きデータを用いて、最先端の完全教師付き手法と比較して、競争性能を達成している。
  論文  参考訳（メタデータ） (2019-12-26T08:48:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。