論文の概要: Multimodal 3D Object Detection on Unseen Domains
- arxiv url: http://arxiv.org/abs/2404.11764v1
- Date: Wed, 17 Apr 2024 21:47:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 13:30:32.940125
- Title: Multimodal 3D Object Detection on Unseen Domains
- Title(参考訳): 見えない領域におけるマルチモーダル3次元物体検出
- Authors: Deepti Hegde, Suhas Lohit, Kuan-Chuan Peng, Michael J. Jones, Vishal M. Patel,
- Abstract要約: ドメイン適応アプローチは、この問題に対処するために、テストディストリビューションから無注釈のサンプルへのアクセスを前提とします。
マルチモーダル融合および3次元オブジェクト検出のための教師付きコントラスト学習フレームワークであるCLIX$text3D$を提案する。
CLIX$text3D$は、複数のデータセットシフト下での最先端のドメイン一般化性能を示す。
- 参考スコア(独自算出の注目度): 37.142470149311904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LiDAR datasets for autonomous driving exhibit biases in properties such as point cloud density, range, and object dimensions. As a result, object detection networks trained and evaluated in different environments often experience performance degradation. Domain adaptation approaches assume access to unannotated samples from the test distribution to address this problem. However, in the real world, the exact conditions of deployment and access to samples representative of the test dataset may be unavailable while training. We argue that the more realistic and challenging formulation is to require robustness in performance to unseen target domains. We propose to address this problem in a two-pronged manner. First, we leverage paired LiDAR-image data present in most autonomous driving datasets to perform multimodal object detection. We suggest that working with multimodal features by leveraging both images and LiDAR point clouds for scene understanding tasks results in object detectors more robust to unseen domain shifts. Second, we train a 3D object detector to learn multimodal object features across different distributions and promote feature invariance across these source domains to improve generalizability to unseen target domains. To this end, we propose CLIX$^\text{3D}$, a multimodal fusion and supervised contrastive learning framework for 3D object detection that performs alignment of object features from same-class samples of different domains while pushing the features from different classes apart. We show that CLIX$^\text{3D}$ yields state-of-the-art domain generalization performance under multiple dataset shifts.
- Abstract(参考訳): 自動運転のためのLiDARデータセットは、点雲密度、範囲、オブジェクト次元などの特性に偏りを示す。
その結果、異なる環境で訓練および評価されたオブジェクト検出ネットワークは、しばしば性能劣化を経験する。
ドメイン適応アプローチは、この問題に対処するために、テストディストリビューションから無注釈のサンプルへのアクセスを前提とします。
しかし、現実の世界では、テストデータセットを表すサンプルへのデプロイとアクセスの正確な条件は、トレーニング中に利用できない可能性がある。
我々は、より現実的で挑戦的な定式化は、未確認のターゲットドメインに対して、パフォーマンスの堅牢性を要求することであると論じている。
我々はこの問題を2段階の方法で解決することを提案する。
まず、ほとんどの自律走行データセットに存在するペアのLiDAR画像データを利用して、マルチモーダル物体検出を行う。
画像とLiDAR点雲の両方をシーン理解タスクに利用することでマルチモーダルな特徴を扱うことにより、オブジェクト検出器がより堅牢になり、ドメインシフトが未確認となることを提案する。
第二に、3Dオブジェクト検出器をトレーニングして、異なる分布にまたがるマルチモーダルオブジェクトの特徴を学習し、これらのソースドメインにまたがる特徴不変性を促進し、未確認のターゲットドメインへの一般化性を向上させる。
この目的のために,CLIX$^\text{3D}$という3次元オブジェクト検出のためのマルチモーダル融合と教師付きコントラスト学習フレームワークを提案する。
CLIX$^\text{3D}$は、複数のデータセットシフト下での最先端のドメイン一般化性能を示す。
関連論文リスト
- UniMODE: Unified Monocular 3D Object Detection [70.27631528933482]
我々は,鳥眼視(BEV)検出パラダイムに基づく検出器を構築した。
本稿では,この課題に起因する収束不安定性に対応するために,不均一なBEVグリッド設計を提案する。
統一検出器UniMODEが導出され、挑戦的なOmni3Dデータセットの先行技術を上回る。
論文 参考訳(メタデータ) (2024-02-28T18:59:31Z) - S$^3$-MonoDETR: Supervised Shape&Scale-perceptive Deformable Transformer
for Monocular 3D Object Detection [22.424834025925076]
モノクロ3Dオブジェクト検出のためのSupervised Shape&Scale-perceptive Deformable Attention (S$3$-DA)モジュール。
本稿では,モノクロ3次元物体検出のための"Supervised Shape&Scale-perceptive Deformable Attention" (S$3$-DA) モジュールを提案する。
論文 参考訳(メタデータ) (2023-09-02T12:36:38Z) - 3D Adversarial Augmentations for Robust Out-of-Domain Predictions [115.74319739738571]
ドメイン外データへの一般化の改善に注力する。
対象を逆向きに変形させるベクトルの集合を学習する。
本研究では,学習したサンプル非依存ベクトルをモデルトレーニング時に利用可能なオブジェクトに適用することにより,対数拡大を行う。
論文 参考訳(メタデータ) (2023-08-29T17:58:55Z) - MMRDN: Consistent Representation for Multi-View Manipulation
Relationship Detection in Object-Stacked Scenes [62.20046129613934]
我々は,MMRDN(Multi-view MRD Network)と呼ばれる新しい多視点融合フレームワークを提案する。
異なるビューからの2Dデータを共通の隠れ空間に投影し、埋め込みをVon-Mises-Fisher分布に適合させる。
これら2つのオブジェクトの相対位置を符号化した各オブジェクト対の点雲から、K$最大垂直近傍点(KMVN)の集合を選択する。
論文 参考訳(メタデータ) (2023-04-25T05:55:29Z) - Density-Insensitive Unsupervised Domain Adaption on 3D Object Detection [19.703181080679176]
ポイントクラウドからの3Dオブジェクト検出は、安全クリティカルな自動運転において不可欠である。
本稿では,密度依存性ドメインギャップに対処する密度依存性ドメイン適応フレームワークを提案する。
3つの広く採用されている3次元オブジェクト検出データセットの実験結果から,提案手法が最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-04-19T06:33:07Z) - SSDA3D: Semi-supervised Domain Adaptation for 3D Object Detection from
Point Cloud [125.9472454212909]
本稿では,3次元物体検出(SSDA3D)のための半改良型領域適応法を提案する。
SSDA3Dはドメイン間適応ステージとドメイン内一般化ステージを含む。
実験の結果,10%のラベル付きターゲットデータしか持たないSSDA3Dは,100%のターゲットラベルを持つ完全教師付きオラクルモデルを上回ることができることがわかった。
論文 参考訳(メタデータ) (2022-12-06T09:32:44Z) - Viewer-Centred Surface Completion for Unsupervised Domain Adaptation in
3D Object Detection [7.489722641968593]
3D検出器は、トレーニング対象のデータセットに過度に適合する傾向がある。これにより、検出器が1つのデータセットでトレーニングされ、別のデータセットでテストされると、精度が大幅に低下する。
我々は、新しいビューア中心のサーフェス補完ネットワーク(VCN)を設計し、これをSEE-VCN(SEE-VCN)というアプローチで解決する。
SEE-VCNにより、データセット全体にわたるオブジェクトの統一表現が得られ、ネットワークはスキャンパターンに過度に適合するのではなく、幾何学の学習に集中することができる。
論文 参考訳(メタデータ) (2022-09-14T04:22:20Z) - An Unsupervised Domain Adaptive Approach for Multimodal 2D Object
Detection in Adverse Weather Conditions [5.217255784808035]
本稿では、ソースとターゲットドメイン間のドメインギャップを埋めるために、教師なしのドメイン適応フレームワークを提案する。
天候の歪みをシミュレートするデータ拡張方式を用いて、ドメインの混乱を増し、ソースデータへの過度な適合を防止する。
DENSEデータセットで行った実験は、我々の手法がドメインギャップを大幅に軽減できることを示している。
論文 参考訳(メタデータ) (2022-03-07T18:10:40Z) - The Devil is in the Task: Exploiting Reciprocal Appearance-Localization
Features for Monocular 3D Object Detection [62.1185839286255]
低コストのモノクル3D物体検出は、自律運転において基本的な役割を果たす。
DFR-Netという動的特徴反射ネットワークを導入する。
我々は、KITTIテストセットの全ての単分子3D物体検出器の中で、第1位にランク付けする。
論文 参考訳(メタデータ) (2021-12-28T07:31:18Z) - Unsupervised Domain Adaptive 3D Detection with Multi-Level Consistency [90.71745178767203]
ディープラーニングに基づく3Dオブジェクト検出は、大規模な自律走行データセットの出現によって、前例のない成功を収めた。
既存の3Dドメイン適応検出手法は、しばしばターゲットのドメインアノテーションへの事前アクセスを前提とします。
我々は、ソースドメインアノテーションのみを利用する、より現実的な、教師なしの3Dドメイン適応検出について研究する。
論文 参考訳(メタデータ) (2021-07-23T17:19:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。