論文の概要: Multimodal 3D Object Detection on Unseen Domains

• arxiv url: http://arxiv.org/abs/2404.11764v1
• Date: Wed, 17 Apr 2024 21:47:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 13:30:32.940125
• Title: Multimodal 3D Object Detection on Unseen Domains
• Title（参考訳）: 見えない領域におけるマルチモーダル3次元物体検出
• Authors: Deepti Hegde, Suhas Lohit, Kuan-Chuan Peng, Michael J. Jones, Vishal M. Patel,
• Abstract要約: ドメイン適応アプローチは、この問題に対処するために、テストディストリビューションから無注釈のサンプルへのアクセスを前提とします。 マルチモーダル融合および3次元オブジェクト検出のための教師付きコントラスト学習フレームワークであるCLIX$text3D$を提案する。 CLIX$text3D$は、複数のデータセットシフト下での最先端のドメイン一般化性能を示す。
• 参考スコア（独自算出の注目度）: 37.142470149311904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LiDAR datasets for autonomous driving exhibit biases in properties such as point cloud density, range, and object dimensions. As a result, object detection networks trained and evaluated in different environments often experience performance degradation. Domain adaptation approaches assume access to unannotated samples from the test distribution to address this problem. However, in the real world, the exact conditions of deployment and access to samples representative of the test dataset may be unavailable while training. We argue that the more realistic and challenging formulation is to require robustness in performance to unseen target domains. We propose to address this problem in a two-pronged manner. First, we leverage paired LiDAR-image data present in most autonomous driving datasets to perform multimodal object detection. We suggest that working with multimodal features by leveraging both images and LiDAR point clouds for scene understanding tasks results in object detectors more robust to unseen domain shifts. Second, we train a 3D object detector to learn multimodal object features across different distributions and promote feature invariance across these source domains to improve generalizability to unseen target domains. To this end, we propose CLIX$^\text{3D}$, a multimodal fusion and supervised contrastive learning framework for 3D object detection that performs alignment of object features from same-class samples of different domains while pushing the features from different classes apart. We show that CLIX$^\text{3D}$ yields state-of-the-art domain generalization performance under multiple dataset shifts.
• Abstract（参考訳）: 自動運転のためのLiDARデータセットは、点雲密度、範囲、オブジェクト次元などの特性に偏りを示す。 その結果、異なる環境で訓練および評価されたオブジェクト検出ネットワークは、しばしば性能劣化を経験する。 ドメイン適応アプローチは、この問題に対処するために、テストディストリビューションから無注釈のサンプルへのアクセスを前提とします。 しかし、現実の世界では、テストデータセットを表すサンプルへのデプロイとアクセスの正確な条件は、トレーニング中に利用できない可能性がある。 我々は、より現実的で挑戦的な定式化は、未確認のターゲットドメインに対して、パフォーマンスの堅牢性を要求することであると論じている。 我々はこの問題を2段階の方法で解決することを提案する。 まず、ほとんどの自律走行データセットに存在するペアのLiDAR画像データを利用して、マルチモーダル物体検出を行う。 画像とLiDAR点雲の両方をシーン理解タスクに利用することでマルチモーダルな特徴を扱うことにより、オブジェクト検出器がより堅牢になり、ドメインシフトが未確認となることを提案する。 第二に、3Dオブジェクト検出器をトレーニングして、異なる分布にまたがるマルチモーダルオブジェクトの特徴を学習し、これらのソースドメインにまたがる特徴不変性を促進し、未確認のターゲットドメインへの一般化性を向上させる。 この目的のために,CLIX$^\text{3D}$という3次元オブジェクト検出のためのマルチモーダル融合と教師付きコントラスト学習フレームワークを提案する。 CLIX$^\text{3D}$は、複数のデータセットシフト下での最先端のドメイン一般化性能を示す。

関連論文リスト

• One for All: Multi-Domain Joint Training for Point Cloud Based 3D Object Detection [71.78795573911512]
  textbfOneDet3Dは、異なるドメイン間での3D検出に対処する汎用的なワン・ツー・オール・モデルである。 本稿では、データ干渉問題に対処するため、ルーティング機構によって誘導される散乱とコンテキストにおけるドメイン認識を提案する。 完全なスパース構造とアンカーフリーヘッドは、さらに大きなスケールの差のある点雲を収容する。
  論文  参考訳（メタデータ） (2024-11-03T14:21:56Z)
• Uni$^2$Det: Unified and Universal Framework for Prompt-Guided Multi-dataset 3D Detection [64.08296187555095]
  Uni$2$Detは3D検出のための統一的で普遍的なマルチデータセットトレーニングのためのフレームワークである。 マルチデータセット3D検出のためのマルチステージプロンプトモジュールを提案する。 ゼロショットクロスデータセット転送の結果は,提案手法の一般化能力を検証する。
  論文  参考訳（メタデータ） (2024-09-30T17:57:50Z)
• Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
  我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。 設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
  論文  参考訳（メタデータ） (2024-02-28T18:59:31Z)
• S$^3$-MonoDETR: Supervised Shape&Scale-perceptive Deformable Transformer for Monocular 3D Object Detection [21.96072831561483]
  本稿では,モノクロ3次元物体検出のためのSupervised Shape&Scale-perceptive Deformable Attention' (S$3$-DA) モジュールを提案する。 これにより、S$3$-DAは、任意のカテゴリに属するクエリポイントに対する受容的フィールドを効果的に推定し、堅牢なクエリ機能を生成することができる。 KITTIとOpenデータセットの実験では、S$3$-DAが検出精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-09-02T12:36:38Z)
• 3D Adversarial Augmentations for Robust Out-of-Domain Predictions [115.74319739738571]
  ドメイン外データへの一般化の改善に注力する。 対象を逆向きに変形させるベクトルの集合を学習する。 本研究では,学習したサンプル非依存ベクトルをモデルトレーニング時に利用可能なオブジェクトに適用することにより,対数拡大を行う。
  論文  参考訳（メタデータ） (2023-08-29T17:58:55Z)
• Density-Insensitive Unsupervised Domain Adaption on 3D Object Detection [19.703181080679176]
  ポイントクラウドからの3Dオブジェクト検出は、安全クリティカルな自動運転において不可欠である。 本稿では,密度依存性ドメインギャップに対処する密度依存性ドメイン適応フレームワークを提案する。 3つの広く採用されている3次元オブジェクト検出データセットの実験結果から,提案手法が最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-04-19T06:33:07Z)
• SSDA3D: Semi-supervised Domain Adaptation for 3D Object Detection from Point Cloud [125.9472454212909]
  本稿では,3次元物体検出(SSDA3D)のための半改良型領域適応法を提案する。 SSDA3Dはドメイン間適応ステージとドメイン内一般化ステージを含む。 実験の結果,10%のラベル付きターゲットデータしか持たないSSDA3Dは,100%のターゲットラベルを持つ完全教師付きオラクルモデルを上回ることができることがわかった。
  論文  参考訳（メタデータ） (2022-12-06T09:32:44Z)
• An Unsupervised Domain Adaptive Approach for Multimodal 2D Object Detection in Adverse Weather Conditions [5.217255784808035]
  本稿では、ソースとターゲットドメイン間のドメインギャップを埋めるために、教師なしのドメイン適応フレームワークを提案する。 天候の歪みをシミュレートするデータ拡張方式を用いて、ドメインの混乱を増し、ソースデータへの過度な適合を防止する。 DENSEデータセットで行った実験は、我々の手法がドメインギャップを大幅に軽減できることを示している。
  論文  参考訳（メタデータ） (2022-03-07T18:10:40Z)
• Unsupervised Domain Adaptive 3D Detection with Multi-Level Consistency [90.71745178767203]
  ディープラーニングに基づく3Dオブジェクト検出は、大規模な自律走行データセットの出現によって、前例のない成功を収めた。 既存の3Dドメイン適応検出手法は、しばしばターゲットのドメインアノテーションへの事前アクセスを前提とします。 我々は、ソースドメインアノテーションのみを利用する、より現実的な、教師なしの3Dドメイン適応検出について研究する。
  論文  参考訳（メタデータ） (2021-07-23T17:19:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。