論文の概要: KD3A: Unsupervised Multi-Source Decentralized Domain Adaptation via Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2011.09757v7
• Date: Tue, 15 Jun 2021 08:22:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 21:26:43.217552
• Title: KD3A: Unsupervised Multi-Source Decentralized Domain Adaptation via Knowledge Distillation
• Title（参考訳）: kd3a: 知識蒸留によるマルチソース分散ドメイン適応
• Authors: Hao-Zhe Feng, Zhaoyang You, Minghao Chen, Tianye Zhang, Minfeng Zhu, Fei Wu, Chao Wu, Wei Chen
• Abstract要約: 従来のunsupervised multi-source domain adapt (UMDA)メソッドは、すべてのソースドメインに直接アクセス可能であると仮定する。 これはプライバシ保護ポリシーを無視し、すなわち、すべてのデータと計算を分散化しておく必要がある。 我々は、知識蒸留に基づく分散ドメイン適応(KD3A)というプライバシー保護のUMDAパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 26.297914581994217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional unsupervised multi-source domain adaptation (UMDA) methods assume all source domains can be accessed directly. This neglects the privacy-preserving policy, that is, all the data and computations must be kept decentralized. There exists three problems in this scenario: (1) Minimizing the domain distance requires the pairwise calculation of the data from source and target domains, which is not accessible. (2) The communication cost and privacy security limit the application of UMDA methods (e.g., the domain adversarial training). (3) Since users have no authority to check the data quality, the irrelevant or malicious source domains are more likely to appear, which causes negative transfer. In this study, we propose a privacy-preserving UMDA paradigm named Knowledge Distillation based Decentralized Domain Adaptation (KD3A), which performs domain adaptation through the knowledge distillation on models from different source domains. KD3A solves the above problems with three components: (1) A multi-source knowledge distillation method named Knowledge Vote to learn high-quality domain consensus knowledge. (2) A dynamic weighting strategy named Consensus Focus to identify both the malicious and irrelevant domains. (3) A decentralized optimization strategy for domain distance named BatchNorm MMD. The extensive experiments on DomainNet demonstrate that KD3A is robust to the negative transfer and brings a 100x reduction of communication cost compared with other decentralized UMDA methods. Moreover, our KD3A significantly outperforms state-of-the-art UMDA approaches.
• Abstract（参考訳）: 従来のunsupervised multi-source domain adapt (UMDA)メソッドは、すべてのソースドメインに直接アクセスできると仮定する。 これはプライバシ保護ポリシーを無視し、すなわち、すべてのデータと計算を分散化しておく必要がある。 1) 領域距離を最小化するには、ソース領域とターゲット領域からのデータのペアワイズ計算が必要であり、アクセスできない。 (2)通信コストとプライバシセキュリティは、umdaメソッドの適用を制限する(例えば、ドメインの敵対的トレーニング)。 (3) 利用者はデータ品質を確認する権限がないため、無関係または悪意のあるソースドメインが出現しやすくなり、負の転送が発生する。 本研究では,異なるソースドメインのモデルに対する知識蒸留を通じてドメイン適応を行う,知識蒸留に基づく分散ドメイン適応(kd3a)という,プライバシ保存umdaパラダイムを提案する。 KD3A は上記の問題を,(1) 高品質なドメインコンセンサス知識を学習するための知識Vote という多元的知識蒸留法で解決する。 2)コンセンサスと呼ばれる動的重み付け戦略は、悪意のあるドメインと無関係なドメインの両方を識別することに焦点を当てている。 (3) BatchNorm MMDというドメイン距離の分散最適化手法。 DomainNetでの広範な実験により、KD3Aは負の転送に対して堅牢であり、他の分散UMDA法と比較して100倍の通信コスト削減をもたらすことが示された。 さらに、我々のkd3aは最先端のumdaアプローチを大きく上回っている。

関連論文リスト

• AVATAR: Adversarial self-superVised domain Adaptation network for TARget domain [11.764601181046496]
  本稿では,未ラベル対象領域データの予測のための教師なし領域適応(UDA)手法を提案する。 本稿では,AVATAR(Adversarial Self-superVised Domain Adaptation Network for the TARget domain)アルゴリズムを提案する。 提案手法は,3つのUDAベンチマークにおいて,最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-04-28T20:31:56Z)
• Learning Feature Decomposition for Domain Adaptive Monocular Depth Estimation [51.15061013818216]
  改良されたアプローチは、深層学習の進歩で大きな成功をもたらしたが、それらは大量の地底深度アノテーションに依存している。 教師なしドメイン適応(UDA)は、教師付き学習の制約を緩和するため、ラベル付きソースデータからラベルなしターゲットデータに知識を転送する。 本稿では,その特徴空間をコンテンツやスタイルコンポーネントに分解することを学ぶための,学習特徴分解 for Adaptation (LFDA) と呼ばれる新しいMDEのためのUDA手法を提案する。
  論文  参考訳（メタデータ） (2022-07-30T08:05:35Z)
• Domain Gap Estimation for Source Free Unsupervised Domain Adaptation with Many Classifiers [7.614680416922215]
  理論上、教師なし領域適応の成功はドメインギャップの推定に大きく依存する。 ソースフリーのUDAでは、ソースドメインデータは適応中にアクセスできないため、ドメインギャップを計測する大きな課題があります。 我々は、多くの分類器を用いて、ドメインギャップのより厳密な上限を提供するソースドメイン決定境界を学習することを提案する。 提案手法は, ソースフリーなUDA手法の最先端性を実現し, ソースフリーなUDA手法と競合する可能性さえある。
  論文  参考訳（メタデータ） (2022-07-12T18:33:29Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Bridging the Source-to-target Gap for Cross-domain Person Re-Identification with Intermediate Domains [63.23373987549485]
  クロスドメインの人物再識別(re-ID)は、ソースからターゲットドメインに識別された知識を転送することを目的としている。 中間ドメインモジュール(IDM)とミラー生成モジュール(MGM)を提案する。 IDMは、ソースドメインとターゲットドメインから隠れた層の特徴を混合することにより、複数の中間ドメインを生成する。 MGMは、特徴をIDM生成中間ドメインにマッピングすることで、元のアイデンティティを変更することなく導入される。
  論文  参考訳（メタデータ） (2022-03-03T12:44:56Z)
• IDM: An Intermediate Domain Module for Domain Adaptive Person Re-ID [58.46907388691056]
  ソースとターゲットドメイン間のブリッジは、UDA re-IDタスクに対処するために有効である、と我々は主張する。 中間ドメインの表現をオンザフライで生成するための中間ドメインモジュール(IDM)を提案する。 提案手法は,UDAのre-IDタスクに共通するタスクにおいて,最先端のタスクよりも大きなマージンで性能を向上する。
  論文  参考訳（メタデータ） (2021-08-05T07:19:46Z)
• Secure Domain Adaptation with Multiple Sources [13.693640425403636]
  マルチソース非教師付きドメイン適応(MUDA)は、最近検討された学習フレームワークである。 目標は、アノテートされたデータで複数のソースドメインから知識を転送することで、ターゲットドメインにおけるラベル付きデータの不足に対処することである。 ソースデータは分散されているため、ソースドメインのデータのプライバシは自然な関心事になり得る。 MUDAのプライバシー問題に対処するために、埋め込みスペースにおけるドメインアライメントというアイデアの恩恵を受けます。
  論文  参考訳（メタデータ） (2021-06-23T02:26:36Z)
• Unsupervised Multi-Source Domain Adaptation for Person Re-Identification [39.817734080890695]
  unsupervised domain adaptation (uda) method for person re-idification (re-id) ラベル付きソースデータからラベル付きターゲットデータへの再id知識の転送を目的としている。 マルチソースの概念を UDA person re-ID フィールドに導入し、トレーニング中に複数のソースデータセットを使用する。 提案手法は,最先端のuda person re-idメソッドを高いマージンで上回り,後処理手法を使わずに教師付きアプローチに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2021-04-27T03:33:35Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• Discrepancy Minimization in Domain Generalization with Generative Nearest Neighbors [13.047289562445242]
  ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインでトレーニングされた機械学習モデルが、統計の異なるターゲットドメインでうまく一般化できないという、ドメインシフトの問題を扱う。 シフト対象領域の一般化を保証するのに失敗するソースドメイン全体にわたるドメイン不変表現を学習することにより、ドメイン一般化の問題を解決するために、複数のアプローチが提案されている。 本稿では,GNNDM(Generative Nearest Neighbor Based Discrepancy Minimization)法を提案する。
  論文  参考訳（メタデータ） (2020-07-28T14:54:25Z)
• Multi-source Domain Adaptation in the Deep Learning Era: A Systematic Survey [53.656086832255944]
  マルチソースドメイン適応(MDA)は、ラベル付きデータを複数のソースから収集できる強力な拡張である。 MDAは学術と産業の両方で注目を集めている。
  論文  参考訳（メタデータ） (2020-02-26T08:07:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。