論文の概要: Cross-modal Learning for Domain Adaptation in 3D Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2101.07253v1
• Date: Mon, 18 Jan 2021 18:59:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 05:56:25.509432
• Title: Cross-modal Learning for Domain Adaptation in 3D Semantic Segmentation
• Title（参考訳）: 3次元意味セグメンテーションにおける領域適応のためのクロスモーダル学習
• Authors: Maximilian Jaritz, Tuan-Hung Vu, Raoul de Charette, \'Emilie Wirbel, and Patrick P\'erez
• Abstract要約: ドメイン適応はラベルが不足している場合の学習を可能にする重要なタスクである。 相互模倣による2つのモダリティの予測の整合性を実現するクロスモーダル学習を提案する。 我々は、ラベル付きデータに対する正確な予測とラベルなしのターゲットドメインデータに対するモダリティ間の一貫性のある予測をネットワークに制限する。
• 参考スコア（独自算出の注目度）: 11.895722159139108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain adaptation is an important task to enable learning when labels are scarce. While most works focus only on the image modality, there are many important multi-modal datasets. In order to leverage multi-modality for domain adaptation, we propose cross-modal learning, where we enforce consistency between the predictions of two modalities via mutual mimicking. We constrain our network to make correct predictions on labeled data and consistent predictions across modalities on unlabeled target-domain data. Experiments in unsupervised and semi-supervised domain adaptation settings prove the effectiveness of this novel domain adaptation strategy. Specifically, we evaluate on the task of 3D semantic segmentation using the image and point cloud modality. We leverage recent autonomous driving datasets to produce a wide variety of domain adaptation scenarios including changes in scene layout, lighting, sensor setup and weather, as well as the synthetic-to-real setup. Our method significantly improves over previous uni-modal adaptation baselines on all adaption scenarios. Code will be made available.
• Abstract（参考訳）: ドメイン適応はラベルが不足している場合の学習を可能にする重要なタスクである。 ほとんどの作業はイメージモダリティのみに焦点を当てているが、多くの重要なマルチモーダルデータセットが存在する。 ドメイン適応にマルチモーダルを活用するために,相互模倣による2つのモーダルの予測の整合性を実現するクロスモーダル学習を提案する。 我々は、ラベル付きデータに対する正確な予測とラベルなしのターゲットドメインデータに対するモダリティ間の一貫性のある予測をネットワークに制限する。 教師なしおよび半教師付きドメイン適応設定の実験は、この新しいドメイン適応戦略の有効性を証明している。 具体的には,画像と点クラウドモダリティを用いて3次元意味セグメンテーションのタスクを評価する。 最近の自動運転データセットを利用して、シーンレイアウトの変更、照明、センサーの設定、天気、合成から現実への設定など、さまざまなドメイン適応シナリオを作成します。 本手法は,すべての適応シナリオにおいて,以前のユニモーダル適応ベースラインよりも大幅に向上する。 コードは利用可能になる。

関連論文リスト

• PiPa++: Towards Unification of Domain Adaptive Semantic Segmentation via Self-supervised Learning [34.786268652516355]
  教師なしドメイン適応セグメンテーションは、それらのドメインのラベル付きデータに頼ることなく、ターゲットドメイン上のモデルのセグメンテーション精度を向上させることを目的としている。 ソースドメイン(ラベル付きデータが利用可能な場所)とターゲットドメイン(ラベルなしデータのみが存在する場所)の特徴表現の整合を図る。
  論文  参考訳（メタデータ） (2024-07-24T08:53:29Z)
• Compositional Semantic Mix for Domain Adaptation in Point Cloud Segmentation [65.78246406460305]
  合成意味混合は、ポイントクラウドセグメンテーションのための最初の教師なし領域適応技術である。 本稿では、ソースドメイン(例えば合成)からの点雲とターゲットドメイン(例えば実世界)からの点雲を同時に処理できる2分岐対称ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-08-28T14:43:36Z)
• Domain Adaptive Semantic Segmentation by Optimal Transport [13.133890240271308]
  セマンティックシーンセグメンテーションは、それが含んでいるセマンティック情報の豊かさから、多くの注目を集めています。 現在のアプローチは主に畳み込みニューラルネットワーク(CNN)に基づいているが、多くのラベルに依存している。 本稿では、最適輸送(OT)とこの問題に対処するためのアテンションメカニズムに基づくドメイン適応(DA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-29T03:33:54Z)
• An Unsupervised Domain Adaptive Approach for Multimodal 2D Object Detection in Adverse Weather Conditions [5.217255784808035]
  本稿では、ソースとターゲットドメイン間のドメインギャップを埋めるために、教師なしのドメイン適応フレームワークを提案する。 天候の歪みをシミュレートするデータ拡張方式を用いて、ドメインの混乱を増し、ソースデータへの過度な適合を防止する。 DENSEデータセットで行った実験は、我々の手法がドメインギャップを大幅に軽減できることを示している。
  論文  参考訳（メタデータ） (2022-03-07T18:10:40Z)
• Self-supervised Augmentation Consistency for Adapting Semantic Segmentation [56.91850268635183]
  本稿では,実用的かつ高精度な意味セグメンテーションのためのドメイン適応手法を提案する。 私たちは標準データ拡張技術である$-$フォトメトリックノイズ、フリップとスケーリング$-$を採用し、セマンティック予測の一貫性を保証する。 適応後の最先端セグメンテーション精度を大幅に改善し、バックボーンアーキテクチャと適応シナリオの異なる選択に整合性を持たせる。
  論文  参考訳（メタデータ） (2021-04-30T21:32:40Z)
• Multi-Source Domain Adaptation with Collaborative Learning for Semantic Segmentation [32.95273803359897]
  マルチソース非監視ドメイン適応(MSDA)は、複数のラベル付きソースドメインで訓練されたモデルをラベル付きターゲットドメインに適応することを目的とする。 セマンティックセグメンテーションのための協調学習に基づく新しいマルチソースドメイン適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-08T12:51:42Z)
• Domain Adaptation for Semantic Parsing [68.81787666086554]
  本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。 我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。 ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-23T14:47:41Z)
• Unsupervised Domain Adaptation with Multiple Domain Discriminators and Adaptive Self-Training [22.366638308792734]
  Unsupervised Domain Adaptation (UDA)は、ソースドメインでトレーニングされたモデルの一般化能力を改善し、ラベル付きデータが使用できないターゲットドメインでうまく機能することを目的としている。 本稿では、合成データに基づいて訓練されたディープニューラルネットワークを、2つの異なるデータ分布間のドメインシフトに対処する実シーンに適用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-27T11:48:03Z)
• Phase Consistent Ecological Domain Adaptation [76.75730500201536]
  意味的セグメンテーション(意味的セグメンテーション)の課題に焦点をあてる。そこでは、注釈付き合成データが多用されるが、実際のデータへのアノテートは困難である。 視覚心理学に触発された最初の基準は、2つの画像領域間の地図が位相保存であることである。 第2の基準は、照明剤や撮像センサーの特性に関わらず、その画像に現れる環境統計、またはシーン内の規則を活用することを目的としている。
  論文  参考訳（メタデータ） (2020-04-10T06:58:03Z)
• Spatial Attention Pyramid Network for Unsupervised Domain Adaptation [66.75008386980869]
  教師なし領域適応は様々なコンピュータビジョンタスクにおいて重要である。 教師なし領域適応のための新しい空間注意ピラミッドネットワークを設計する。 我々の手法は最先端の手法に対して大きなマージンで好適に機能する。
  論文  参考訳（メタデータ） (2020-03-29T09:03:23Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。