論文の概要: Unsupervised Multi-Target Domain Adaptation Through Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2007.07077v4
• Date: Thu, 19 Nov 2020 20:07:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 15:00:51.085859
• Title: Unsupervised Multi-Target Domain Adaptation Through Knowledge Distillation
• Title（参考訳）: 知識蒸留による教師なしマルチターゲットドメイン適応
• Authors: Le Thanh Nguyen-Meidine, Atif Belal, Madhu Kiran, Jose Dolz, Louis-Antoine Blais-Morin, Eric Granger
• Abstract要約: 非教師なし領域適応(UDA)は、ラベルなしデータの分布間のドメインシフトの問題を軽減する。 本稿では,複数の対象領域にまたがる一般化が可能なCNNを訓練するための,教師なしMTDA手法を提案する。
• 参考スコア（独自算出の注目度）: 14.088776449829345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised domain adaptation (UDA) seeks to alleviate the problem of domain shift between the distribution of unlabeled data from the target domain w.r.t. labeled data from the source domain. While the single-target UDA scenario is well studied in the literature, Multi-Target Domain Adaptation (MTDA) remains largely unexplored despite its practical importance, e.g., in multi-camera video-surveillance applications. The MTDA problem can be addressed by adapting one specialized model per target domain, although this solution is too costly in many real-world applications. Blending multiple targets for MTDA has been proposed, yet this solution may lead to a reduction in model specificity and accuracy. In this paper, we propose a novel unsupervised MTDA approach to train a CNN that can generalize well across multiple target domains. Our Multi-Teacher MTDA (MT-MTDA) method relies on multi-teacher knowledge distillation (KD) to iteratively distill target domain knowledge from multiple teachers to a common student. The KD process is performed in a progressive manner, where the student is trained by each teacher on how to perform UDA for a specific target, instead of directly learning domain adapted features. Finally, instead of combining the knowledge from each teacher, MT-MTDA alternates between teachers that distill knowledge, thereby preserving the specificity of each target (teacher) when learning to adapt to the student. MT-MTDA is compared against state-of-the-art methods on several challenging UDA benchmarks, and empirical results show that our proposed model can provide a considerably higher level of accuracy across multiple target domains. Our code is available at: https://github.com/LIVIAETS/MT-MTDA
• Abstract（参考訳）: 教師なしドメイン適応(Unsupervised domain adapt、UDA)は、対象ドメインw.r.t.ラベル付きデータからのラベルなしデータの分散の間のドメインシフトの問題を軽減する。 単一ターゲットのUDAシナリオは文献でよく研究されているが、マルチターゲットドメイン適応(MTDA)は、例えばマルチカメラビデオ監視アプリケーションにおいて、その実用的重要性にもかかわらず、ほとんど探索されていない。 MTDA問題は、ターゲットドメインごとに1つの特殊なモデルを適用することで解決できるが、現実の多くのアプリケーションではコストがかかりすぎる。 MTDAの目標を複数達成することは提案されているが, モデル特異性と精度の低下につながる可能性がある。 本稿では,複数の対象領域にまたがる一般化が可能なCNNを訓練するための,教師なしMTDA手法を提案する。 MTDA (Multi-Teacher MTDA) 法は,複数の教師から一般学生へ対象ドメイン知識を反復蒸留するために,KD (Multi-Teacher knowledge distillation) に依存する。 KDプロセスはプログレッシブな方法で実行され、各教師は、ドメイン適応機能を直接学習するのではなく、特定のターゲットに対してUDAを実行する方法を訓練する。 最後に、mt-mtdaは、各教師の知識を組み合わせるのではなく、知識を蒸留する教師の間で交互に交流し、学習時の目標(教師)の特異性を維持する。 MT-MTDA はいくつかの挑戦的 UDA ベンチマークの最先端手法と比較し,提案手法が複数の対象領域に対して高い精度が得られることを示す実験結果を得た。 私たちのコードは、https://github.com/LIVIAETS/MT-MTDAで利用可能です。

関連論文リスト

• More is Better: Deep Domain Adaptation with Multiple Sources [34.26271755493111]
  マルチソースドメイン適応(MDA)は、ラベル付きデータを異なる分布を持つ複数のソースから収集できる、強力で実用的な拡張である。 本調査では,まず様々なMDA戦略を定義し,その後,異なる視点から,深層学習時代の現代MDA手法を体系的に要約し,比較する。
  論文  参考訳（メタデータ） (2024-05-01T03:37:12Z)
• OurDB: Ouroboric Domain Bridging for Multi-Target Domain Adaptive Semantic Segmentation [8.450397069717727]
  セマンティックセグメンテーションのためのマルチターゲットドメイン適応(MTDA)は、異なる分布を持つ複数のターゲットドメインを含むため、大きな課題となる。 従来のMTDAアプローチでは、複数の教師アーキテクチャを採用しており、各教師はタスクを単純化するために1つのターゲットドメインに特化している。 我々は,単一教師アーキテクチャを用いたMTDA問題に対する効率的な解決策を提供する,OurDB(Ouroboric Domain Bridging)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:55:48Z)
• Subject-Based Domain Adaptation for Facial Expression Recognition [51.10374151948157]
  ディープラーニングモデルを特定の対象個人に適用することは、難しい表情認識タスクである。 本稿では、FERにおける主観的ドメイン適応のための新しいMSDA手法を提案する。 複数の情報源からの情報を効率的に利用して、ディープFERモデルを単一のターゲット個人に適応させる。
  論文  参考訳（メタデータ） (2023-12-09T18:40:37Z)
• Learning Feature Decomposition for Domain Adaptive Monocular Depth Estimation [51.15061013818216]
  改良されたアプローチは、深層学習の進歩で大きな成功をもたらしたが、それらは大量の地底深度アノテーションに依存している。 教師なしドメイン適応(UDA)は、教師付き学習の制約を緩和するため、ラベル付きソースデータからラベルなしターゲットデータに知識を転送する。 本稿では,その特徴空間をコンテンツやスタイルコンポーネントに分解することを学ぶための,学習特徴分解 for Adaptation (LFDA) と呼ばれる新しいMDEのためのUDA手法を提案する。
  論文  参考訳（メタデータ） (2022-07-30T08:05:35Z)
• Knowledge Distillation for Multi-Target Domain Adaptation in Real-Time Person Re-Identification [10.672152844970151]
  マルチターゲットドメイン適応(MTDA)はReID文献では広く扱われていない。 本稿では,リアルタイムのReIDアプリケーションに適した知識蒸留(KD-ReID)に基づくMTDA手法を提案する。 本手法は,複数の専門教師CNNを対象ドメインから抽出し,特定の対象ドメインからのデータに適応させることにより,共通の軽量な学生バックボーンCNNを対象ドメインに適応させる。
  論文  参考訳（メタデータ） (2022-05-12T17:28:02Z)
• Multi-Head Distillation for Continual Unsupervised Domain Adaptation in Semantic Segmentation [38.10483890861357]
  この研究は、連続的 UDA である UDA を学習するための新しいフレームワークに焦点を当てている。 連続学習タスクに固有の破滅的忘れ問題の解法であるマルチヘッド蒸留法(Multi-Head Distillation)を提案する。
  論文  参考訳（メタデータ） (2022-04-25T14:03:09Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
  マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。 本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。 ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
  論文  参考訳（メタデータ） (2021-04-01T23:41:41Z)
• A Review of Single-Source Deep Unsupervised Visual Domain Adaptation [81.07994783143533]
  大規模ラベル付きトレーニングデータセットにより、ディープニューラルネットワークは、幅広いベンチマークビジョンタスクを拡張できるようになった。 多くのアプリケーションにおいて、大量のラベル付きデータを取得するのは非常に高価で時間を要する。 限られたラベル付きトレーニングデータに対処するため、大規模ラベル付きソースドメインでトレーニングされたモデルを、疎ラベルまたは未ラベルのターゲットドメインに直接適用しようと試みている人も多い。
  論文  参考訳（メタデータ） (2020-09-01T00:06:50Z)
• Multi-source Domain Adaptation in the Deep Learning Era: A Systematic Survey [53.656086832255944]
  マルチソースドメイン適応(MDA)は、ラベル付きデータを複数のソースから収集できる強力な拡張である。 MDAは学術と産業の両方で注目を集めている。
  論文  参考訳（メタデータ） (2020-02-26T08:07:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。