論文の概要: Connect, Not Collapse: Explaining Contrastive Learning for Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2204.00570v1
• Date: Fri, 1 Apr 2022 16:56:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-04 15:35:37.435185
• Title: Connect, Not Collapse: Explaining Contrastive Learning for Unsupervised Domain Adaptation
• Title（参考訳）: Connect, not Collapse: Unsupervised Domain Adaptationにおけるコントラスト学習の解説
• Authors: Kendrick Shen, Robbie Jones, Ananya Kumar, Sang Michael Xie, Jeff Z. HaoChen, Tengyu Ma, and Percy Liang
• Abstract要約: 我々は、対象ドメインのラベル付きデータと対象ドメインのラベルなしデータを用いて、対象ドメインの分類器を学習する、教師なしドメイン適応(UDA)を考える。 ラベル付きソースとターゲットデータの特徴を学習し,ラベル付きソースデータに微調整を行うコントラスト事前学習は,強いUDA手法と競合することを示す。
• 参考スコア（独自算出の注目度）: 88.5448806952394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider unsupervised domain adaptation (UDA), where labeled data from a source domain (e.g., photographs) and unlabeled data from a target domain (e.g., sketches) are used to learn a classifier for the target domain. Conventional UDA methods (e.g., domain adversarial training) learn domain-invariant features to improve generalization to the target domain. In this paper, we show that contrastive pre-training, which learns features on unlabeled source and target data and then fine-tunes on labeled source data, is competitive with strong UDA methods. However, we find that contrastive pre-training does not learn domain-invariant features, diverging from conventional UDA intuitions. We show theoretically that contrastive pre-training can learn features that vary subtantially across domains but still generalize to the target domain, by disentangling domain and class information. Our results suggest that domain invariance is not necessary for UDA. We empirically validate our theory on benchmark vision datasets.
• Abstract（参考訳）: 我々は、ソースドメイン(例えば写真)からのラベル付きデータとターゲットドメインからのラベル付きデータ(例えばスケッチ)が対象ドメインの分類子を学ぶために使用される教師なしドメイン適応(uda)を検討する。 従来のudaメソッド(例えば、ドメイン敵訓練)は、対象ドメインへの一般化を改善するために、ドメイン不変機能を学ぶ。 本稿では,ラベル付きソースとターゲットデータの特徴を学習し,ラベル付きソースデータに微調整を行うコントラスト事前学習が,強力なUDA手法と競合することを示す。 しかし、対照的な事前学習は、従来の UDA の直観から逸脱して、ドメイン不変の特徴を学習しないことがわかった。 対照的な事前学習は、ドメインとクラス情報をアンタングルすることで、ドメイン間でサブテナントに異なる特徴を学習できるが、それでも対象ドメインに一般化できることを理論的に示す。 以上の結果から,UDAにはドメイン不変性が不要であることが示唆された。 私たちはベンチマークビジョンデータセットで理論を実証的に検証します。

関連論文リスト

• Make the U in UDA Matter: Invariant Consistency Learning for Unsupervised Domain Adaptation [86.61336696914447]
  ICON (Invariant Consistency Learning) の略。 我々は2つの領域に等しくの地位を与えることで、教師なしDAのUを作成することを提案する。 ICON は古典的な UDA ベンチマークである Office-Home と VisDA-2017 で最先端のパフォーマンスを実現し、挑戦的な WILDS 2.0 ベンチマークでは従来の方法よりも優れています。
  論文  参考訳（メタデータ） (2023-09-22T09:43:32Z)
• Domain-Agnostic Prior for Transfer Semantic Segmentation [197.9378107222422]
  教師なしドメイン適応(UDA)はコンピュータビジョンコミュニティにおいて重要なトピックである。 ドメインに依存しない事前学習(DAP)を用いてドメイン間表現学習を規則化する機構を提案する。 我々の研究は、UDAがより良いプロキシ、おそらく他のデータモダリティの恩恵を受けていることを明らかにしている。
  論文  参考訳（メタデータ） (2022-04-06T09:13:25Z)
• Domain Adaptation via Prompt Learning [39.97105851723885]
  Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。 我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-02-14T13:25:46Z)
• A Survey of Unsupervised Domain Adaptation for Visual Recognition [2.8935588665357077]
  ドメイン適応(DA)は、あるドメインから別のドメインに知識を移す際のドメインシフト問題を緩和することを目的としています。 Unsupervised DA (UDA) はラベル付きソースドメインとラベルなしターゲットドメインを扱う。
  論文  参考訳（メタデータ） (2021-12-13T15:55:23Z)
• Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
  教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。 対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
  論文  参考訳（メタデータ） (2021-06-10T06:32:30Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Open-Set Hypothesis Transfer with Semantic Consistency [99.83813484934177]
  本稿では,対象データの変換における意味的一貫性に着目した手法を提案する。 本モデルはまず,自信ある予測を発見し,擬似ラベルを用いた分類を行う。 その結果、ラベルなしデータは、ソースクラスまたは未知のクラスに一致した識別クラスに分類される。
  論文  参考訳（メタデータ） (2020-10-01T10:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。