論文の概要: Fusion-then-Distillation: Toward Cross-modal Positive Distillation for Domain Adaptive 3D Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2410.19446v1
• Date: Fri, 25 Oct 2024 10:14:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:36:33.667782
• Title: Fusion-then-Distillation: Toward Cross-modal Positive Distillation for Domain Adaptive 3D Semantic Segmentation
• Title（参考訳）: Fusion-then-Distillation: ドメイン適応型3次元セマンティックセマンティックセグメンテーションのためのクロスモーダル正の蒸留に向けて
• Authors: Yao Wu, Mingwei Xing, Yachao Zhang, Yuan Xie, Yanyun Qu,
• Abstract要約: クロスモーダルな非教師付きドメイン適応では、ソースドメインデータ(例:合成)に基づいて訓練されたモデルは、ターゲットアノテーションにアクセスすることなく、ターゲットドメインデータ(例:現実世界)に適応する。 従来の手法では、異なる領域で一致可能なクラス確率分布を強制する、各領域における相互に相互にモダル出力を模倣しようとする。 そこで本研究では,3次元セマンティックセグメンテーションのためのソースとターゲットドメインの相互正の蒸留を探索する,新しい核融合式蒸留法(FtD++)を提案する。
• 参考スコア（独自算出の注目度）: 27.86459705741855
• License:
• Abstract: In cross-modal unsupervised domain adaptation, a model trained on source-domain data (e.g., synthetic) is adapted to target-domain data (e.g., real-world) without access to target annotation. Previous methods seek to mutually mimic cross-modal outputs in each domain, which enforces a class probability distribution that is agreeable in different domains. However, they overlook the complementarity brought by the heterogeneous fusion in cross-modal learning. In light of this, we propose a novel fusion-then-distillation (FtD++) method to explore cross-modal positive distillation of the source and target domains for 3D semantic segmentation. FtD++ realizes distribution consistency between outputs not only for 2D images and 3D point clouds but also for source-domain and augment-domain. Specially, our method contains three key ingredients. First, we present a model-agnostic feature fusion module to generate the cross-modal fusion representation for establishing a latent space. In this space, two modalities are enforced maximum correlation and complementarity. Second, the proposed cross-modal positive distillation preserves the complete information of multi-modal input and combines the semantic content of the source domain with the style of the target domain, thereby achieving domain-modality alignment. Finally, cross-modal debiased pseudo-labeling is devised to model the uncertainty of pseudo-labels via a self-training manner. Extensive experiments report state-of-the-art results on several domain adaptive scenarios under unsupervised and semi-supervised settings. Code is available at https://github.com/Barcaaaa/FtD-PlusPlus.
• Abstract（参考訳）: クロスモーダルな教師なしドメイン適応では、ソースドメインデータ(例えば、合成)に基づいて訓練されたモデルは、ターゲットアノテーションにアクセスすることなく、ターゲットドメインデータ(例えば、現実世界)に適応する。 従来の手法では、異なる領域で一致可能なクラス確率分布を強制する、各領域における相互に相互にモダル出力を模倣しようとする。 しかし、彼らはクロスモーダル学習における異種融合による相補性を見落としている。 そこで本研究では,3次元セマンティックセグメンテーションのためのソースとターゲットドメインのクロスモーダルな正蒸留を探索する,新しい核融合反応蒸留法(FtD++)を提案する。 FtD++は、2D画像と3Dポイントクラウドだけでなく、ソースドメインや拡張ドメインに対しても出力間の分散一貫性を実現する。 特に,本手法は3つの重要な成分を含む。 まず, モデルに依存しない特徴融合モジュールを提案し, 潜在空間を確立するためのモード間融合表現を生成する。 この空間では、2つのモダリティは最大相関と相補性によって強制される。 第2に、提案したクロスモーダル正蒸留は、マルチモーダル入力の完全な情報を保存し、ソースドメインのセマンティック内容とターゲットドメインのスタイルを組み合わせることにより、ドメイン・モダリティアライメントを実現する。 最後に, 擬似ラベルの不確かさを自己学習によってモデル化するために, クロスモーダルなデバイアス付き擬似ラベルを考案した。 広範囲な実験では、教師なしおよび半教師なしの設定下で、いくつかのドメイン適応シナリオに関する最先端の結果が報告されている。 コードはhttps://github.com/Barcaaaa/FtD-PlusPlus.comで入手できる。

関連論文リスト

• Semi Supervised Heterogeneous Domain Adaptation via Disentanglement and Pseudo-Labelling [4.33404822906643]
  半教師付きドメイン適応法は、ソースラベル付きドメインからの情報を利用して、少ないラベル付きターゲットドメインを一般化する。 このような設定は半教師付き不均質ドメイン適応(SSHDA)と表記される。 SHEDD(Semi-supervised Heterogeneous Domain Adaptation via Disentanglement)は,対象ドメインの学習に適したエンドツーエンドのニューラルネットワークフレームワークである。
  論文  参考訳（メタデータ） (2024-06-20T08:02:49Z)
• Compositional Semantic Mix for Domain Adaptation in Point Cloud Segmentation [65.78246406460305]
  合成意味混合は、ポイントクラウドセグメンテーションのための最初の教師なし領域適応技術である。 本稿では、ソースドメイン(例えば合成)からの点雲とターゲットドメイン(例えば実世界)からの点雲を同時に処理できる2分岐対称ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-08-28T14:43:36Z)
• ML-BPM: Multi-teacher Learning with Bidirectional Photometric Mixing for Open Compound Domain Adaptation in Semantic Segmentation [78.19743899703052]
  オープン化合物ドメイン適応(OCDA)は、ターゲットドメインを複数の未知の同質体の化合物とみなしている。 目的とするサブドメインに適応するために,双方向光度ミキシングを用いたマルチテキサフレームワークを提案する。 適応蒸留を行い、学生モデルを学習し、整合性正規化を適用して生徒の一般化を改善する。
  論文  参考訳（メタデータ） (2022-07-19T03:30:48Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Adaptive Hierarchical Dual Consistency for Semi-Supervised Left Atrium Segmentation on Cross-Domain Data [8.645556125521246]
  ドメイン間データに対する半教師付き学習の一般化は、モデルの堅牢性を改善するために重要である。 AHDCはBAI(Bidirectional Adversarial Inference Module)とHDC(Hierarchical Dual Consistency Learning Module)から構成されている。 今回提案したAHDCは, 異なる中心部からの3D遅延心筋MR(LGE-CMR)データセットと3DCTデータセットを用いて, 評価を行った。
  論文  参考訳（メタデータ） (2021-09-17T02:15:10Z)
• VDM-DA: Virtual Domain Modeling for Source Data-free Domain Adaptation [26.959377850768423]
  ドメイン適応(domain adaptation)は、ラベルリッチドメイン(ソースドメイン)を活用して、ラベルキャリアドメイン(ターゲットドメイン)でのモデル学習を支援する。 ソースドメインのサンプルへのアクセスは、異なる問題のために、現実世界のアプリケーションで常に可能であるとは限らない。 VDM-DA(Virtual Domain Modeling)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-03-26T09:56:40Z)
• Adapt Everywhere: Unsupervised Adaptation of Point-Clouds and Entropy Minimisation for Multi-modal Cardiac Image Segmentation [10.417009344120917]
  マルチモーダル心臓画像分割のための新しいUDA法を提案する。 提案手法は、逆学習に基づいて、異なる空間におけるソースとターゲットドメイン間のネットワーク特徴を適応する。 本手法はannotated source domainからunannotated target domainへの適応により2つの心データセットで検証した。
  論文  参考訳（メタデータ） (2021-03-15T08:59:44Z)
• Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain Adaptive Semantic Segmentation [102.42638795864178]
  セマンティックセグメンテーションのための原則的メタラーニングに基づくOCDAアプローチを提案する。 対象ドメインを複数のサブターゲットドメインに,教師なしの方法で抽出した画像スタイルでクラスタリングする。 その後、メタラーニングがデプロイされ、スタイルコードに条件付きでサブターゲットドメイン固有の予測を融合するように学習される。 モデルに依存しないメタラーニング(MAML)アルゴリズムにより,モデルをオンライン更新することを学び,一般化をさらに改善する。
  論文  参考訳（メタデータ） (2020-12-15T13:21:54Z)
• MADAN: Multi-source Adversarial Domain Aggregation Network for Domain Adaptation [58.38749495295393]
  ドメイン適応は、あるラベル付きソースドメインと、わずかにラベル付けまたはラベル付けされていないターゲットドメインの間のドメインシフトをブリッジするために、転送可能なモデルを学ぶことを目的としています。 近年のマルチソース領域適応法(MDA)では,ソースとターゲット間の画素レベルのアライメントは考慮されていない。 これらの課題に対処するための新しいMDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T21:22:00Z)
• Bi-Directional Generation for Unsupervised Domain Adaptation [61.73001005378002]
  教師なしのドメイン適応は、確立されたソースドメイン情報に依存するラベルなしのターゲットドメインを促進する。 従来の手法では、潜在空間におけるドメインの不一致を強制的に低減することで、本質的なデータ構造が破壊される。 本稿では、2つの中間領域をブリッジソースとターゲットドメインに補間する一貫した分類器を用いた双方向生成ドメイン適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-12T09:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。