論文の概要: Contrastive Adversarial Training for Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2407.12782v1
• Date: Wed, 17 Jul 2024 17:59:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 16:06:20.151364
• Title: Contrastive Adversarial Training for Unsupervised Domain Adaptation
• Title（参考訳）: 教師なしドメイン適応のためのコントラスト対応トレーニング
• Authors: Jiahong Chen, Zhilin Zhang, Lucy Li, Behzad Shahrasbi, Arjun Mishra,
• Abstract要約: 様々なドメイン適応タスクにおいて、ドメイン逆行訓練がうまく採用されている。 大規模なモデルでは、敵のトレーニングがソースドメインに偏りやすく、ターゲットドメインにはほとんど適応しない。 本稿では、ラベル付きソースドメインのサンプルを利用して、ターゲットドメインの機能生成を強化・調整するコントラッシブ・逆行訓練(CAT)手法を提案する。
• 参考スコア（独自算出の注目度）: 2.432037584128226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain adversarial training has shown its effective capability for finding domain invariant feature representations and been successfully adopted for various domain adaptation tasks. However, recent advances of large models (e.g., vision transformers) and emerging of complex adaptation scenarios (e.g., DomainNet) make adversarial training being easily biased towards source domain and hardly adapted to target domain. The reason is twofold: relying on large amount of labelled data from source domain for large model training and lacking of labelled data from target domain for fine-tuning. Existing approaches widely focused on either enhancing discriminator or improving the training stability for the backbone networks. Due to unbalanced competition between the feature extractor and the discriminator during the adversarial training, existing solutions fail to function well on complex datasets. To address this issue, we proposed a novel contrastive adversarial training (CAT) approach that leverages the labeled source domain samples to reinforce and regulate the feature generation for target domain. Typically, the regulation forces the target feature distribution being similar to the source feature distribution. CAT addressed three major challenges in adversarial learning: 1) ensure the feature distributions from two domains as indistinguishable as possible for the discriminator, resulting in a more robust domain-invariant feature generation; 2) encourage target samples moving closer to the source in the feature space, reducing the requirement for generalizing classifier trained on the labeled source domain to unlabeled target domain; 3) avoid directly aligning unpaired source and target samples within mini-batch. CAT can be easily plugged into existing models and exhibits significant performance improvements.
• Abstract（参考訳）: ドメイン逆行訓練は、ドメイン不変の特徴表現を見つけるのに有効な能力を示し、様々なドメイン適応タスクにうまく採用されている。 しかし、近年の大規模モデル(例えば、ビジョントランスフォーマー)や複雑な適応シナリオ(例えば、ドメインネット)の出現は、敵のトレーニングをソースドメインに偏りやすく、ターゲットドメインに適応し難いものにしている。 理由は2つある: 大規模なモデルトレーニングのために、ソースドメインから大量のラベル付きデータを頼りにし、微調整のためにターゲットドメインからラベル付きデータを欠いている。 既存のアプローチでは、差別の強化やバックボーンネットワークのトレーニング安定性の向上に重点を置いている。 対立訓練中の特徴抽出器と判別器のバランスの取れない競合のため、既存のソリューションは複雑なデータセットでうまく機能しない。 この問題に対処するために、ラベル付きソースドメインサンプルを利用してターゲットドメインの機能生成を強化・規制する、新しいコントラッシブ・逆行訓練(CAT)手法を提案する。 通常、規制はターゲット特徴分布をソース特徴分布に類似させることを強制する。 CATは、敵対的学習における3つの大きな課題に対処した。 1) 識別器において、2つの領域からの特徴分布を可能な限り区別できないようにし、その結果、より堅牢なドメイン不変の特徴発生をもたらす。 2) 特徴空間のソースに近づくターゲットサンプルを奨励し、ラベル付きソースドメインで訓練された分類器をラベルなしターゲットドメインに一般化する要件を緩和する。 3) 未ペアソースとターゲットサンプルを直接ミニバッチ内でアライメントするのを避ける。 CATは既存のモデルに簡単にプラグインでき、大幅なパフォーマンス向上を示す。

関連論文リスト

• Data-Efficient CLIP-Powered Dual-Branch Networks for Source-Free Unsupervised Domain Adaptation [4.7589762171821715]
  Source-free Unsupervised Domain Adaptation (SF-UDA) は、ソースサンプルに直接アクセスすることなく、ラベル付きソースドメインからラベルなしターゲットドメインにモデルのパフォーマンスを転送することを目的としている。 データ効率のよいCLIP方式のデュアルブランチネットワーク(CDBN)を導入し、限られたソースデータとプライバシの問題に対処する。 CDBNは、7つのデータセット上の31の転送タスクにわたる既存のメソッドよりもはるかに少ないソースドメインサンプルで、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-10-21T09:25:49Z)
• Strong-Weak Integrated Semi-supervision for Unsupervised Single and Multi Target Domain Adaptation [6.472434306724611]
  教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインで学んだ知識をラベル付きターゲットドメインに転送することに焦点を当てている。 本稿では,画像分類のためのSWISS学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-12T19:08:54Z)
• Adversarial Bi-Regressor Network for Domain Adaptive Regression [52.5168835502987]
  ドメインシフトを軽減するために、クロスドメインレグレッタを学ぶことが不可欠です。 本稿では、より効果的なドメイン間回帰モデルを求めるために、ABRNet(Adversarial Bi-Regressor Network)を提案する。
  論文  参考訳（メタデータ） (2022-09-20T18:38:28Z)
• From Big to Small: Adaptive Learning to Partial-Set Domains [94.92635970450578]
  ドメイン適応は、分布シフト中のラベル付きソースドメインからラベルなしターゲットドメインへの知識獲得と普及を目標とする。 近年の進歩は、大規模の深層学習モデルにより、小規模の下流の多様な課題に取り組むための豊富な知識が得られていることを示している。 本稿では,学習パラダイムである部分領域適応(Partial Domain Adaptation, PDA)を紹介する。
  論文  参考訳（メタデータ） (2022-03-14T07:02:45Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring Network [58.05473757538834]
  本稿では,ドメイン間のギャップを粗い粒度から細かな粒度に埋める新しい逆スコアリングネットワーク (ASNet) を提案する。 3組のマイグレーション実験により,提案手法が最先端のカウント性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-07-27T14:47:24Z)
• Re-energizing Domain Discriminator with Sample Relabeling for Adversarial Domain Adaptation [88.86865069583149]
  Unsupervised Domain Adapt (UDA)メソッドは、ドメインの競合トレーニングを利用して、機能を調整してドメインのギャップを減らす。 本研究では,Re-enforceable Adversarial Domain Adaptation (RADA) と呼ばれる効率的な最適化戦略を提案する。 RADAは、動的ドメインラベルを使用して、トレーニング中にドメイン識別器を再活性化することを目指しています。
  論文  参考訳（メタデータ） (2021-03-22T08:32:55Z)
• Contradistinguisher: A Vapnik's Imperative to Unsupervised Domain Adaptation [7.538482310185133]
  本研究では,コントラスト特徴を学習するContradistinguisherと呼ばれるモデルを提案する。 Office-31とVisDA-2017における最先端のデータセットを、シングルソースとマルチソースの両方で実現しています。
  論文  参考訳（メタデータ） (2020-05-25T19:54:38Z)
• Towards Fair Cross-Domain Adaptation via Generative Learning [50.76694500782927]
  ドメイン適応(DA)は、よくラベル付けされたソースドメイン上でトレーニングされたモデルを、異なる分散に横たわる未ラベルのターゲットドメインに適応することを目的としています。 本研究では,新規な生成的Few-shot Cross-Domain Adaptation (GFCA) アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-03-04T23:25:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。