論文の概要: DualCross: Cross-Modality Cross-Domain Adaptation for Monocular BEV Perception
- arxiv url: http://arxiv.org/abs/2305.03724v2
- Date: Wed, 12 Jun 2024 00:35:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 01:42:49.776890
- Title: DualCross: Cross-Modality Cross-Domain Adaptation for Monocular BEV Perception
- Title(参考訳): DualCross: モノクローナルなBEV知覚のためのクロスモーダルクロスドメイン適応
- Authors: Yunze Man, Liang-Yan Gui, Yu-Xiong Wang,
- Abstract要約: DualCrossは、より堅牢なBEV知覚モデルの学習を容易にする、クロスモダリティのクロスドメイン適応フレームワークである。
この研究は、クロスドメイン・クロスセンサーの認識と野生における単分子3Dタスクへの適応を初めてオープンに解析する結果となった。
- 参考スコア(独自算出の注目度): 30.113617846516398
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Closing the domain gap between training and deployment and incorporating multiple sensor modalities are two challenging yet critical topics for self-driving. Existing work only focuses on single one of the above topics, overlooking the simultaneous domain and modality shift which pervasively exists in real-world scenarios. A model trained with multi-sensor data collected in Europe may need to run in Asia with a subset of input sensors available. In this work, we propose DualCross, a cross-modality cross-domain adaptation framework to facilitate the learning of a more robust monocular bird's-eye-view (BEV) perception model, which transfers the point cloud knowledge from a LiDAR sensor in one domain during the training phase to the camera-only testing scenario in a different domain. This work results in the first open analysis of cross-domain cross-sensor perception and adaptation for monocular 3D tasks in the wild. We benchmark our approach on large-scale datasets under a wide range of domain shifts and show state-of-the-art results against various baselines.
- Abstract(参考訳): トレーニングとデプロイメントの間のドメインギャップを閉鎖し、複数のセンサーモダリティを取り入れることは、自動運転にとって困難な2つのトピックである。
既存の作業は、上記のトピックの1つだけに焦点を当てており、現実のシナリオに広く存在する同時ドメインとモダリティシフトを見渡している。
ヨーロッパで収集されたマルチセンサーデータでトレーニングされたモデルは、入力センサーのサブセットを使用してアジアで実行する必要があるかもしれない。
本研究では,より堅牢な単眼鳥眼視(BEV)知覚モデルの学習を容易にするクロスモダリティ・クロスドメイン適応フレームワークであるDualCrossを提案する。
この研究は、クロスドメイン・クロスセンサーの認識と野生における単分子3Dタスクへの適応を初めてオープンに解析する結果となった。
ドメインシフトの幅の広い大規模データセットに対するアプローチをベンチマークし、さまざまなベースラインに対して最先端の結果を示す。
関連論文リスト
- One for All: Multi-Domain Joint Training for Point Cloud Based 3D Object Detection [71.78795573911512]
textbfOneDet3Dは、異なるドメイン間での3D検出に対処する汎用的なワン・ツー・オール・モデルである。
本稿では、データ干渉問題に対処するため、ルーティング機構によって誘導される散乱とコンテキストにおけるドメイン認識を提案する。
完全なスパース構造とアンカーフリーヘッドは、さらに大きなスケールの差のある点雲を収容する。
論文 参考訳(メタデータ) (2024-11-03T14:21:56Z) - M3BAT: Unsupervised Domain Adaptation for Multimodal Mobile Sensing with Multi-Branch Adversarial Training [5.128670847334003]
マルチモーダルモバイルセンシングは、健康、健康、行動、文脈に関する推論に広く用いられている。
トレーニングセット内のデータの分布は、実世界のデータの分布、デプロイメント環境と異なる。
M3BATは,マルチブランチ対向学習を用いたマルチモーダル・モバイルセンシングのための教師なしドメイン適応である。
論文 参考訳(メタデータ) (2024-04-26T13:09:35Z) - Compositional Semantic Mix for Domain Adaptation in Point Cloud
Segmentation [65.78246406460305]
合成意味混合は、ポイントクラウドセグメンテーションのための最初の教師なし領域適応技術である。
本稿では、ソースドメイン(例えば合成)からの点雲とターゲットドメイン(例えば実世界)からの点雲を同時に処理できる2分岐対称ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-08-28T14:43:36Z) - BEV-DG: Cross-Modal Learning under Bird's-Eye View for Domain
Generalization of 3D Semantic Segmentation [59.99683295806698]
クロスモーダルなUnsupervised Domain Adaptation (UDA)は、新しいドメインにおけるアノテーションの欠如を克服するために、2D-3Dデータの相補性を活用することを目的としている。
本稿では,BEV-DGと呼ばれる3次元セマンティックセグメンテーションの領域一般化(DG)に対する鳥眼図に基づくクロスモーダル学習を提案する。
論文 参考訳(メタデータ) (2023-08-12T11:09:17Z) - Cross-Modality Domain Adaptation for Freespace Detection: A Simple yet
Effective Baseline [21.197212665408262]
フリースペース検出は、カメラが捉えた画像の各ピクセルを、ドライビング可能または非駆動可能と分類することを目的としている。
我々はRGB画像と深度画像から生成された表面正規写像の両方を利用するクロスモダリティ領域適応フレームワークを開発した。
ソースドメイン(合成データ)とターゲットドメイン(実世界のデータ)のドメインギャップを埋めるため、選択的特徴アライメント(SFA)モジュールも提案する。
論文 参考訳(メタデータ) (2022-10-06T15:31:49Z) - Dual Adversarial Adaptation for Cross-Device Real-World Image
Super-Resolution [114.26933742226115]
異なるデバイスからの画像に基づいて訓練された超高解像度(SR)モデルは、異なる画像パターンを示す可能性がある。
本稿では、DADA(Dual Adversarial Adaptation)という、実世界のSRのための教師なしドメイン適応機構を提案する。
3台のカメラで6台のリアル・トゥ・リアル・アダプティブ・セッティングで実験を行い、既存の最先端のアプローチと比較して優れた性能を実現した。
論文 参考訳(メタデータ) (2022-05-07T02:55:39Z) - An Unsupervised Domain Adaptive Approach for Multimodal 2D Object
Detection in Adverse Weather Conditions [5.217255784808035]
本稿では、ソースとターゲットドメイン間のドメインギャップを埋めるために、教師なしのドメイン適応フレームワークを提案する。
天候の歪みをシミュレートするデータ拡張方式を用いて、ドメインの混乱を増し、ソースデータへの過度な適合を防止する。
DENSEデータセットで行った実験は、我々の手法がドメインギャップを大幅に軽減できることを示している。
論文 参考訳(メタデータ) (2022-03-07T18:10:40Z) - Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training
for Road Segmentation of Remote Sensing Images [93.50240389540252]
リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。
本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。
2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2021-08-28T09:29:14Z) - Unsupervised Domain Adaptive 3D Detection with Multi-Level Consistency [90.71745178767203]
ディープラーニングに基づく3Dオブジェクト検出は、大規模な自律走行データセットの出現によって、前例のない成功を収めた。
既存の3Dドメイン適応検出手法は、しばしばターゲットのドメインアノテーションへの事前アクセスを前提とします。
我々は、ソースドメインアノテーションのみを利用する、より現実的な、教師なしの3Dドメイン適応検出について研究する。
論文 参考訳(メタデータ) (2021-07-23T17:19:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。