論文の概要: CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation
- arxiv url: http://arxiv.org/abs/2109.06165v1
- Date: Mon, 13 Sep 2021 17:59:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-14 17:03:53.054430
- Title: CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation
- Title（参考訳）: CDTrans: 教師なしドメイン適応のためのクロスドメイントランス
- Authors: Tongkun Xu, Weihua Chen, Pichao Wang, Fan Wang, Hao Li, Rong Jin
- Abstract要約: Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから異なるラベル付きターゲットドメインに学習した知識を転送することを目的としている。
カテゴリレベルに基づくUDAの根本的な問題は、ターゲットドメインのサンプル用の擬似ラベルの生成である。
我々は,対象サンプルの擬似ラベルを生成するために,双方向中心認識ラベルアルゴリズムを設計する。
擬似ラベルとともに、ソース/ターゲット特徴学習とソース/ターゲット領域アライメントに自己アテンションとクロスアテンションを適用するために、ウェイトシェアリング・トリプルブランチ・トランスフォーマー・フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 44.06904757181245
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Unsupervised domain adaptation (UDA) aims to transfer knowledge learned from
a labeled source domain to a different unlabeled target domain. Most existing
UDA methods focus on learning domain-invariant feature representation, either
from the domain level or category level, using convolution neural networks
(CNNs)-based frameworks. One fundamental problem for the category level based
UDA is the production of pseudo labels for samples in target domain, which are
usually too noisy for accurate domain alignment, inevitably compromising the
UDA performance. With the success of Transformer in various tasks, we find that
the cross-attention in Transformer is robust to the noisy input pairs for
better feature alignment, thus in this paper Transformer is adopted for the
challenging UDA task. Specifically, to generate accurate input pairs, we design
a two-way center-aware labeling algorithm to produce pseudo labels for target
samples. Along with the pseudo labels, a weight-sharing triple-branch
transformer framework is proposed to apply self-attention and cross-attention
for source/target feature learning and source-target domain alignment,
respectively. Such design explicitly enforces the framework to learn
discriminative domain-specific and domain-invariant representations
simultaneously. The proposed method is dubbed CDTrans (cross-domain
transformer), and it provides one of the first attempts to solve UDA tasks with
a pure transformer solution. Extensive experiments show that our proposed
method achieves the best performance on Office-Home, VisDA-2017, and DomainNet
datasets.
- Abstract（参考訳）: Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから異なるラベル付きターゲットドメインに学習した知識を転送することを目的としている。
既存のUDAメソッドのほとんどは、ドメインレベルまたはカテゴリレベルから、畳み込みニューラルネットワーク(CNN)ベースのフレームワークを使用して、ドメイン不変の機能表現の学習に重点を置いている。
カテゴリレベルのudaの根本的な問題は、ターゲットドメイン内のサンプルに対する擬似ラベルの生成であり、これは通常、正確なドメインアライメントにはノイズが多すぎるため、必然的にudaのパフォーマンスを損なう。
様々なタスクでトランスフォーマが成功したことにより,ノイズ入力ペアに対して,トランスフォーマのクロスアテンションが頑健であり,機能アライメントが向上していることが判明した。
特に,正確な入力ペアを生成するために,ターゲットサンプルの擬似ラベルを生成するための双方向センタアウェアラベルアルゴリズムを設計する。
擬似ラベルに加えて, 重み共有トリプルブランチトランスフォーマフレームワークを提案し, ソース・ターゲット特徴学習とソース・ターゲット・ドメインアライメントに対して, セルフアテンションとクロスアテンションを適用した。
このような設計は、差別的なドメイン固有表現とドメイン不変表現を同時に学習するフレームワークを明示的に強制する。
提案手法はCDTrans (cross-domain transformer) と呼ばれ、UDAタスクを純粋なトランスソリューションで解くための最初の試みの1つである。
大規模な実験により,提案手法はOffice-Home, VisDA-2017, DomainNetデータセット上で最高の性能を発揮することが示された。
関連論文リスト
- QuadFormer: Quadruple Transformer for Unsupervised Domain Adaptation in
Power Line Segmentation of Aerial Images [12.840195641761323]
ドメイン適応型セマンティックセグメンテーションのための新しいフレームワークを提案する。
階層的な四重変圧器は、伝達可能なコンテキストに適応するために、クロスアテンションと自己アテンションのメカニズムを組み合わせる。
ARPLSynとARPLRealの2つのデータセットを提示し、教師なし領域適応電力線分割の研究をさらに進める。
論文 参考訳（メタデータ） (2022-11-29T03:15:27Z) - CA-UDA: Class-Aware Unsupervised Domain Adaptation with Optimal
Assignment and Pseudo-Label Refinement [84.10513481953583]
教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ターゲットデータに欠けているラベルのサロゲートとして、優れた擬似ラベルの選択に焦点を当てる。
ソースとターゲットドメインの共有ネットワークが通常、擬似ラベルの選択に使用されるため、擬似ラベルを劣化させるソースドメインバイアスは依然として存在する。
本稿では, 擬似ラベルの品質向上のためのCA-UDAを提案し, 最適課題, 擬似ラベル改善戦略, クラス対応ドメインアライメントを提案する。
論文 参考訳（メタデータ） (2022-05-26T18:45:04Z) - Cross-Domain Object Detection with Mean-Teacher Transformer [43.486392965014105]
平均教師知識伝達(MTKT)に基づくエンドツーエンドのクロスドメイン検出変換器を提案する。
本稿では,ドメインクエリベースの特徴アライメント (DQFA) やバイレベルグラフベースのプロトタイプアライメント (BGPA) ,トークンワイド画像特徴アライメント (TIFA) など,トランスフォーマーのアーキテクチャに基づく3つのレベルの特徴アライメント戦略を設計する。
特にSim10kからCityscapesのシナリオは52.6mAPから57.9mAPに大幅に改善されている。
論文 参考訳（メタデータ） (2022-05-03T17:11:55Z) - Exploiting Both Domain-specific and Invariant Knowledge via a Win-win
Transformer for Unsupervised Domain Adaptation [14.623272346517794]
Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。
既存のUDAアプローチのほとんどは、ドメイン不変表現を学習し、2つのドメインにまたがる1つの分類器を共有することによって、知識伝達を可能にする。
我々はWin-Win TRansformerフレームワークを提案し、各ドメインのドメイン固有の知識を別々に探索し、ドメイン間の知識を交換する。
論文 参考訳（メタデータ） (2021-11-25T06:45:07Z) - Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training
for Road Segmentation of Remote Sensing Images [93.50240389540252]
リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。
本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。
2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2021-08-28T09:29:14Z) - Exploring Sequence Feature Alignment for Domain Adaptive Detection
Transformers [141.70707071815653]
本稿では,検出変圧器の適応に特化して設計された新しいシーケンス特徴アライメント(SFA)法を提案する。
SFAはドメインクエリベースの機能アライメント(DQFA)モジュールとトークンワイド機能アライメント(TDA)モジュールで構成される。
3つの挑戦的なベンチマーク実験により、SFAは最先端のドメイン適応オブジェクト検出方法より優れていることが示された。
論文 参考訳（メタデータ） (2021-07-27T07:17:12Z) - Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。
対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
論文 参考訳（メタデータ） (2021-06-10T06:32:30Z) - Instance Level Affinity-Based Transfer for Unsupervised Domain
Adaptation [74.71931918541748]
ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。
まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。
ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
論文 参考訳（メタデータ） (2021-04-03T01:33:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。