論文の概要: Multi-latent Space Alignments for Unsupervised Domain Adaptation in
Multi-view 3D Object Detection
- arxiv url: http://arxiv.org/abs/2211.17126v1
- Date: Wed, 30 Nov 2022 16:03:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 17:25:19.194052
- Title: Multi-latent Space Alignments for Unsupervised Domain Adaptation in
Multi-view 3D Object Detection
- Title(参考訳): マルチビュー3次元物体検出における教師なし領域適応のためのマルチレイテンシ空間アライメント
- Authors: Jiaming Liu, Rongyu Zhang, Xiaowei Chi, Xiaoqi Li, Ming Lu, Yandong
Guo, Shanghang Zhang
- Abstract要約: Vision-Centric Bird-Eye-View (BEV) の認識は、将来有望な可能性を示し、自動運転における注目を集めている。
最近の研究は、効率や精度の向上に重点を置いているが、ドメインシフトの問題を無視しているため、転送性能が著しく低下する。
ドメインシフトの蓄積を容易にするため,マルチレベルマルチスペースアライメント・教師・スチューデント(M2ATS$)フレームワークを提案する。
- 参考スコア(独自算出の注目度): 30.080882063817548
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Centric Bird-Eye-View (BEV) perception has shown promising potential
and attracted increasing attention in autonomous driving. Recent works mainly
focus on improving efficiency or accuracy but neglect the domain shift problem,
resulting in severe degradation of transfer performance. With extensive
observations, we figure out the significant domain gaps existing in the scene,
weather, and day-night changing scenarios and make the first attempt to solve
the domain adaption problem for multi-view 3D object detection. Since BEV
perception approaches are usually complicated and contain several components,
the domain shift accumulation on multi-latent spaces makes BEV domain
adaptation challenging. In this paper, we propose a novel Multi-level
Multi-space Alignment Teacher-Student ($M^{2}ATS$) framework to ease the domain
shift accumulation, which consists of a Depth-Aware Teacher (DAT) and a
Multi-space Feature Aligned (MFA) student model. Specifically, DAT model adopts
uncertainty guidance to sample reliable depth information in target domain.
After constructing domain-invariant BEV perception, it then transfers pixel and
instance-level knowledge to student model. To further alleviate the domain
shift at the global level, MFA student model is introduced to align
task-relevant multi-space features of two domains. To verify the effectiveness
of $M^{2}ATS$, we conduct BEV 3D object detection experiments on four cross
domain scenarios and achieve state-of-the-art performance (e.g., +12.6% NDS and
+9.1% mAP on Day-Night). Code and dataset will be released.
- Abstract(参考訳): 視覚中心鳥眼視(bev)の認識は有望な可能性を示しており、自動運転において注目を集めている。
最近の研究は主に効率や精度の向上に焦点を絞っているが、ドメインシフト問題は無視され、転送性能が著しく低下している。
広範にわたる観察により,現場,天気,日中の変化シナリオに存在する重要な領域ギャップを把握し,多視点3次元物体検出のための領域適応問題の解法を最初に試みる。
BEV知覚アプローチは通常複雑であり、いくつかの成分を含んでいるため、多遅延空間上でのドメインシフトの蓄積は、BEV領域適応を困難にしている。
本稿では,DAT(Depth-Aware Teacher)とMFA(Multi-space Feature Aligned)の学生モデルからなる,ドメインシフトの蓄積を容易にするための,新しいマルチレベルマルチスペースアライメント教師(M^{2}ATS$)フレームワークを提案する。
具体的には、DATモデルが不確実性ガイダンスを採用して、対象領域の信頼性深度情報をサンプリングする。
ドメイン不変なBEV知覚を構築した後、ピクセルとインスタンスレベルの知識を学生モデルに転送する。
グローバルレベルでのドメインシフトを緩和するために、MFA学生モデルを導入し、2つのドメインのタスク関連マルチスペース機能を調整する。
M^{2}ATS$の有効性を検証するために、BEV 3Dオブジェクト検出実験を4つのクロスドメインシナリオで実施し、最先端のパフォーマンスを達成する(例:+12.6% NDSと+9.1% mAP on Day-Night)。
コードとデータセットがリリースされる。
関連論文リスト
- UniMODE: Unified Monocular 3D Object Detection [76.77182583753051]
我々は,鳥眼視(BEV)検出パラダイムに基づく検出器を構築した。
本稿では,この課題に起因する収束不安定性に対応するために,不均一なBEVグリッド設計を提案する。
統一検出器UniMODEが導出され、挑戦的なOmni3Dデータセットの先行技術を上回る。
論文 参考訳(メタデータ) (2024-02-28T18:59:31Z) - DI-V2X: Learning Domain-Invariant Representation for
Vehicle-Infrastructure Collaborative 3D Object Detection [78.09431523221458]
DI-V2Xは、新しい蒸留フレームワークを通じてドメイン不変表現を学習することを目的としている。
DI-V2Xは、ドメイン混合インスタンス拡張(DMA)モジュール、プログレッシブドメイン不変蒸留(PDD)モジュール、ドメイン適応融合(DAF)モジュールの3つの必須成分から構成される。
論文 参考訳(メタデータ) (2023-12-25T14:40:46Z) - Revisiting the Domain Shift and Sample Uncertainty in Multi-source
Active Domain Transfer [69.82229895838577]
Active Domain Adaptation (ADA)は、アノテートするターゲットデータの限られた数を選択することで、新しいターゲットドメインにおけるモデル適応を最大限に向上することを目的としている。
この設定は、複数のソースからトレーニングデータを収集するより実践的なシナリオを無視します。
これは、ADAを単一のソースドメインから複数のソースドメインに拡張する、新しい、挑戦的な知識転送の設定を目標にしています。
論文 参考訳(メタデータ) (2023-11-21T13:12:21Z) - Density-Insensitive Unsupervised Domain Adaption on 3D Object Detection [19.703181080679176]
ポイントクラウドからの3Dオブジェクト検出は、安全クリティカルな自動運転において不可欠である。
本稿では,密度依存性ドメインギャップに対処する密度依存性ドメイン適応フレームワークを提案する。
3つの広く採用されている3次元オブジェクト検出データセットの実験結果から,提案手法が最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-04-19T06:33:07Z) - Towards Domain Generalization for Multi-view 3D Object Detection in
Bird-Eye-View [11.958753088613637]
まず,MV3D-Detタスクにおける領域ギャップの原因を解析する。
頑健な深度予測を得るために,カメラの内在パラメータから深度推定を分離する手法を提案する。
焦点長の値を変更して複数の擬似ドメインを作成し、敵の訓練損失を発生させ、特徴表現をよりドメインに依存しないものにするよう促す。
論文 参考訳(メタデータ) (2023-03-03T02:59:13Z) - DA-CIL: Towards Domain Adaptive Class-Incremental 3D Object Detection [2.207918236777924]
本稿では,新しい3次元ドメイン適応型クラスインクリメンタルオブジェクト検出フレームワークDA-CILを提案する。
トレーニング分布を多様化する複数の拡張ドメインを構築するために、新しいデュアルドメインコピーペースト拡張法を設計する。
各種データセットを用いた実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2022-12-05T06:45:27Z) - SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video
Anomaly Detection [108.57862846523858]
自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。
マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。
モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
論文 参考訳(メタデータ) (2022-07-16T19:25:41Z) - Unsupervised Domain Adaptation for Monocular 3D Object Detection via
Self-Training [57.25828870799331]
我々は、Mono3D上での教師なしドメイン適応のための新しい自己学習フレームワークSTMono3Dを提案する。
対象ドメイン上で適応的な擬似ラベルを生成するための教師学生パラダイムを開発する。
STMono3Dは、評価されたすべてのデータセットで顕著なパフォーマンスを達成し、KITTI 3Dオブジェクト検出データセットの完全な教師付き結果を超えています。
論文 参考訳(メタデータ) (2022-04-25T12:23:07Z) - An Unsupervised Domain Adaptive Approach for Multimodal 2D Object
Detection in Adverse Weather Conditions [5.217255784808035]
本稿では、ソースとターゲットドメイン間のドメインギャップを埋めるために、教師なしのドメイン適応フレームワークを提案する。
天候の歪みをシミュレートするデータ拡張方式を用いて、ドメインの混乱を増し、ソースデータへの過度な適合を防止する。
DENSEデータセットで行った実験は、我々の手法がドメインギャップを大幅に軽減できることを示している。
論文 参考訳(メタデータ) (2022-03-07T18:10:40Z) - Unsupervised Domain Adaptive 3D Detection with Multi-Level Consistency [90.71745178767203]
ディープラーニングに基づく3Dオブジェクト検出は、大規模な自律走行データセットの出現によって、前例のない成功を収めた。
既存の3Dドメイン適応検出手法は、しばしばターゲットのドメインアノテーションへの事前アクセスを前提とします。
我々は、ソースドメインアノテーションのみを利用する、より現実的な、教師なしの3Dドメイン適応検出について研究する。
論文 参考訳(メタデータ) (2021-07-23T17:19:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。