論文の概要: Exploiting Both Domain-specific and Invariant Knowledge via a Win-win
Transformer for Unsupervised Domain Adaptation
- arxiv url: http://arxiv.org/abs/2111.12941v1
- Date: Thu, 25 Nov 2021 06:45:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-29 16:47:48.968301
- Title: Exploiting Both Domain-specific and Invariant Knowledge via a Win-win
Transformer for Unsupervised Domain Adaptation
- Title（参考訳）: 教師なし領域適応のためのwin-win変換器によるドメイン固有および不変知識の活用
- Authors: Wenxuan Ma and Jinming Zhang and Shuang Li and Chi Harold Liu and
Yulin Wang and Wei Li
- Abstract要約: Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。
既存のUDAアプローチのほとんどは、ドメイン不変表現を学習し、2つのドメインにまたがる1つの分類器を共有することによって、知識伝達を可能にする。
我々はWin-Win TRansformerフレームワークを提案し、各ドメインのドメイン固有の知識を別々に探索し、ドメイン間の知識を交換する。
- 参考スコア（独自算出の注目度）: 14.623272346517794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised Domain Adaptation (UDA) aims to transfer knowledge from a
labeled source domain to an unlabeled target domain. Most existing UDA
approaches enable knowledge transfer via learning domain-invariant
representation and sharing one classifier across two domains. However, ignoring
the domain-specific information that are related to the task, and forcing a
unified classifier to fit both domains will limit the feature expressiveness in
each domain. In this paper, by observing that the Transformer architecture with
comparable parameters can generate more transferable representations than CNN
counterparts, we propose a Win-Win TRansformer framework (WinTR) that
separately explores the domain-specific knowledge for each domain and meanwhile
interchanges cross-domain knowledge. Specifically, we learn two different
mappings using two individual classification tokens in the Transformer, and
design for each one a domain-specific classifier. The cross-domain knowledge is
transferred via source guided label refinement and single-sided feature
alignment with respect to source or target, which keeps the integrity of
domain-specific information. Extensive experiments on three benchmark datasets
show that our method outperforms the state-of-the-art UDA methods, validating
the effectiveness of exploiting both domain-specific and invariant
- Abstract（参考訳）: Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。
既存のUDAアプローチのほとんどは、ドメイン不変表現を学習し、2つのドメインにまたがる1つの分類器を共有することで知識伝達を可能にする。
しかし、タスクに関連するドメイン固有の情報を無視し、統一分類器を両方のドメインに適合させると、各ドメインの特徴表現性が制限される。
本稿では,CNNと同等のパラメータを持つTransformerアーキテクチャが,CNNよりも伝達可能な表現を生成可能であることを観察し,各ドメインのドメイン固有の知識を別々に探索し,ドメイン間の知識を交換するWin-Win TRansformerフレームワーク(WinTR)を提案する。
具体的には、Transformerで2つの個別分類トークンを用いて2つの異なるマッピングを学習し、それぞれにドメイン固有の分類器を設計する。
ドメイン間の知識は、ソースガイド付きラベルリファインメントと、ソースまたはターゲットに対するシングルサイドの機能アライメントを通じて転送され、ドメイン固有の情報の整合性を維持する。
3つのベンチマークデータセットの大規模な実験により、我々の手法は最先端のUDA法よりも優れており、ドメイン固有性と不変性の両方を活用する効果が検証されている。
関連論文リスト
- Making the Best of Both Worlds: A Domain-Oriented Transformer for
Unsupervised Domain Adaptation [31.150256154504696]
Unsupervised Domain Adaptation (UDA)は、限られた実験データセットから現実の制約のないドメインへのディープラーニングの展開を促進する。
ほとんどのUDAアプローチは、共通の埋め込み空間内の機能を整列させ、ターゲット予測に共有分類器を適用する。
本稿では,異なる領域に着目した2つの個別空間における特徴アライメントを同時に実施し,各領域に対してドメイン指向の分類器を作成することを提案する。
論文 参考訳（メタデータ） (2022-08-02T01:38:37Z) - Discovering Domain Disentanglement for Generalized Multi-source Domain
Adaptation [48.02978226737235]
典型的なマルチソースドメイン適応(MSDA)アプローチは、ラベル付きソースドメインから学習した知識をラベル付きターゲットドメインに転送することを目的としている。
本稿では、各インスタンスのドメイン表現と意味的特徴を分割し、次元的独立性を奨励する変動型ドメイン・アンタングルメント(VDD)フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-11T04:33:08Z) - Domain Invariant Masked Autoencoders for Self-supervised Learning from
Multi-domains [73.54897096088149]
マルチドメインからの自己教師型学習のためのドメイン不変のMasked AutoEncoder (DiMAE)を提案する。
中心となる考え方は、入力画像を異なるドメインからのスタイルノイズで拡張し、拡張イメージの埋め込みからイメージを再構築することである。
PACSとDomainNetの実験は、最近の最先端の手法と比較して、DiMAEがかなりの利益を得ていることを示している。
論文 参考訳（メタデータ） (2022-05-10T09:49:40Z) - Dynamic Instance Domain Adaptation [109.53575039217094]
教師なしのドメイン適応に関するほとんどの研究は、各ドメインのトレーニングサンプルがドメインラベルを伴っていると仮定している。
適応的な畳み込みカーネルを持つ動的ニューラルネットワークを開発し、各インスタンスにドメインに依存しない深い特徴を適応させるために、インスタンス適応残差を生成する。
我々のモデルはDIDA-Netと呼ばれ、複数の一般的な単一ソースおよび複数ソースのUDAデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-03-09T20:05:54Z) - Topic Driven Adaptive Network for Cross-Domain Sentiment Classification [6.196375060616161]
ドメイン間感情分類のためのトピック駆動適応ネットワーク(TDAN)を提案する。
このネットワークはセマンティックスアテンションネットワークとドメイン固有のワードアテンションネットワークの2つのサブネットワークで構成されている。
ドメイン間の感情分類におけるTDANの有効性を検証する実験を行った。
論文 参考訳（メタデータ） (2021-11-28T10:17:11Z) - CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation [44.06904757181245]
Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから異なるラベル付きターゲットドメインに学習した知識を転送することを目的としている。
カテゴリレベルに基づくUDAの根本的な問題は、ターゲットドメインのサンプル用の擬似ラベルの生成である。
我々は,対象サンプルの擬似ラベルを生成するために,双方向中心認識ラベルアルゴリズムを設計する。
擬似ラベルとともに、ソース/ターゲット特徴学習とソース/ターゲット領域アライメントに自己アテンションとクロスアテンションを適用するために、ウェイトシェアリング・トリプルブランチ・トランスフォーマー・フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-13T17:59:07Z) - Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。
対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
論文 参考訳（メタデータ） (2021-06-10T06:32:30Z) - Adversarial Dual Distinct Classifiers for Unsupervised Domain Adaptation [67.83872616307008]
Unversarial Domain adaptation (UDA)は、異なる分散されたラベル付きソースドメインから学習モデルを構築することで、ラベルなしのターゲットサンプルを認識しようとする。
本稿では,タスク固有のカテゴリ境界に一致するソースとターゲット領域のデータ分布を同時に整合させる新しいアドリラルデュアル・ディスタンス・ネットワーク(AD$2$CN)を提案する。
具体的には、ドメイン不変の特徴発生器を利用して、識別的クロスドメインアライメントのガイダンスにより、ソースとターゲットデータを潜在共通空間に埋め込む。
論文 参考訳（メタデータ） (2020-08-27T01:29:10Z) - Domain2Vec: Domain Embedding for Unsupervised Domain Adaptation [56.94873619509414]
従来の教師なしドメイン適応は、限られた数のドメイン間の知識伝達を研究する。
本稿では,特徴不整合とグラム行列の連成学習に基づいて,視覚領域のベクトル表現を提供する新しいDomain2Vecモデルを提案する。
我々の埋め込みは、異なるドメイン間の視覚的関係に関する直感と一致するドメイン類似性を予測できることを示した。
論文 参考訳（メタデータ） (2020-07-17T22:05:09Z) - Domain Conditioned Adaptation Network [90.63261870610211]
本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。
これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
論文 参考訳（メタデータ） (2020-05-14T04:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。