論文の概要: Teacher-Student Consistency For Multi-Source Domain Adaptation

• arxiv url: http://arxiv.org/abs/2010.10054v1
• Date: Tue, 20 Oct 2020 06:17:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 07:22:37.547097
• Title: Teacher-Student Consistency For Multi-Source Domain Adaptation
• Title（参考訳）: マルチソースドメイン適応のための教師と教師の一貫性
• Authors: Ohad Amosy and Gal Chechik
• Abstract要約: マルチソースドメイン適応(MSDA)では、モデルは複数のソースドメインのサンプルに基づいてトレーニングされ、異なるターゲットドメインの推論に使用される。 本稿では,これらの問題を緩和する新手法であるMulti-source Students Teacher (MUST)を提案する。
• 参考スコア（独自算出の注目度）: 28.576613317253035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Multi-Source Domain Adaptation (MSDA), models are trained on samples from multiple source domains and used for inference on a different, target, domain. Mainstream domain adaptation approaches learn a joint representation of source and target domains. Unfortunately, a joint representation may emphasize features that are useful for the source domains but hurt inference on target (negative transfer), or remove essential information about the target domain (knowledge fading). We propose Multi-source Student Teacher (MUST), a novel procedure designed to alleviate these issues. The key idea has two steps: First, we train a teacher network on source labels and infer pseudo labels on the target. Then, we train a student network using the pseudo labels and regularized the teacher to fit the student predictions. This regularization helps the teacher predictions on the target data remain consistent between epochs. Evaluations of MUST on three MSDA benchmarks: digits, text sentiment analysis, and visual-object recognition show that MUST outperforms current SoTA, sometimes by a very large margin. We further analyze the solutions and the dynamics of the optimization showing that the learned models follow the target distribution density, implicitly using it as information within the unlabeled target data.
• Abstract（参考訳）: マルチソースドメイン適応(MSDA)では、モデルは複数のソースドメインのサンプルに基づいてトレーニングされ、異なるターゲットドメインの推論に使用される。 主流ドメイン適応アプローチは、ソースドメインとターゲットドメインの合同表現を学ぶ。 残念なことに、共同表現はソースドメインに役立つが、ターゲット(負の転送)に対する推論を損なう機能を強調したり、ターゲットドメインに関する重要な情報を取り除く(知識の消失)。 本稿では,これらの問題を緩和する新手法であるMulti-source Students Teacher (MUST)を提案する。 まず、ソースラベルで教師ネットワークをトレーニングし、ターゲットの擬似ラベルを推論します。 次に,疑似ラベルを用いて学生ネットワークを訓練し,教師を正規化し,生徒の予測に適合させる。 この正規化は、ターゲットデータの教師予測がエポック間で一貫性を保つのに役立つ。 MSDAベンチマークにおけるMUSTの評価は、数値、テキストの感情分析、視覚オブジェクト認識の3つで、MUSTが現在のSoTAより優れていることを示している。 さらに,学習モデルが目標分布密度に従うことを示す最適化の解とダイナミクスを解析し,ラベル付き対象データ内の情報として暗黙的に利用した。

関連論文リスト

• Pulling Target to Source: A New Perspective on Domain Adaptive Semantic Segmentation [80.1412989006262]
  ドメイン適応セマンティックセグメンテーションは、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することを目的としています。 我々はT2S-DAを提案し、T2S-DAはドメイン適応のためのソースにターゲットを引っ張る形式として解釈する。
  論文  参考訳（メタデータ） (2023-05-23T07:09:09Z)
• Focus on Your Target: A Dual Teacher-Student Framework for Domain-adaptive Semantic Segmentation [210.46684938698485]
  意味的セグメンテーションのための教師なしドメイン適応(UDA)について検討する。 対象領域からのトレーニングサンプルの割合を減少・増加させることで,「学習能力」が強化・弱まることがわかった。 本稿では,DTS(Double teacher-student)フレームワークを提案し,双方向学習戦略を取り入れた。
  論文  参考訳（メタデータ） (2023-03-16T05:04:10Z)
• Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from Mixture-of-Experts [33.21435044949033]
  既存のほとんどのメソッドは、単一のモデルを使って複数のソースドメインでトレーニングを行います。 本稿では,知識蒸留プロセスとして定式化された非教師なし試験時間適応のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-08T02:28:10Z)
• Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
  マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。 本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。 ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
  論文  参考訳（メタデータ） (2021-04-01T23:41:41Z)
• Curriculum CycleGAN for Textual Sentiment Domain Adaptation with Multiple Sources [68.31273535702256]
  我々は,C-CycleGAN(C-CycleGAN)という,新しいインスタンスレベルのMDAフレームワークを提案する。 C-CycleGANは、(1)異なるドメインからのテキスト入力を連続的な表現空間にエンコードする事前訓練されたテキストエンコーダ、(2)ソースとターゲットドメイン間のギャップを埋めるカリキュラムインスタンスレベルの適応を伴う中間ドメインジェネレータ、(3)中間ドメインで最終感情分類のために訓練されたタスク分類器の3つのコンポーネントから構成される。 3つのベンチマークデータセットに対して広範な実験を行い、最先端のDAアプローチよりも大幅に向上した。
  論文  参考訳（メタデータ） (2020-11-17T14:50:55Z)
• Dual-Teacher: Integrating Intra-domain and Inter-domain Teachers for Annotation-efficient Cardiac Segmentation [65.81546955181781]
  本稿では,新しい半教師付きドメイン適応手法,すなわちDual-Teacherを提案する。 学生モデルは、2つの教師モデルによってラベル付けされていない対象データとラベル付けされた情報源データの知識を学習する。 提案手法では, ラベルなしデータとモダリティ間データとを並列に利用でき, 性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-13T10:00:44Z)
• Multi-source Domain Adaptation for Visual Sentiment Classification [92.53780541232773]
  マルチソース・ドメイン適応(MDA)手法をMSGAN(Multi-source Sentiment Generative Adversarial Network)と呼ぶ。 複数のソースドメインからのデータを扱うために、MSGANはソースドメインとターゲットドメインの両方のデータが同じ分布を共有する、統一された感情潜在空間を見つけることを学ぶ。 4つのベンチマークデータセットで実施された大規模な実験により、MSGANは視覚的感情分類のための最先端のMDAアプローチよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2020-01-12T08:37:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。