論文の概要: Towards Unsupervised Domain Adaptation via Domain-Transformer

• arxiv url: http://arxiv.org/abs/2202.13777v1
• Date: Thu, 24 Feb 2022 02:30:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 16:34:32.668510
• Title: Towards Unsupervised Domain Adaptation via Domain-Transformer
• Title（参考訳）: ドメイン変換による教師なしドメイン適応に向けて
• Authors: Ren Chuan-Xian, Zhai Yi-Ming, Luo You-Wei, Li Meng-Xue
• Abstract要約: 教師なしドメイン適応(UDA)のためのドメイン変換器(DoT)を提案する。 DoTは新しい視点から、CNNバックボーンとTransformerのコアアテンションメカニズムを統合する。 ドメイン間の局所的な意味的一貫性を実現し、そこではドメインレベルの注意と多様体の正規化が探索される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a vital problem in pattern analysis and machine intelligence, Unsupervised Domain Adaptation (UDA) studies how to transfer an effective feature learner from a labeled source domain to an unlabeled target domain. Plenty of methods based on Convolutional Neural Networks (CNNs) have achieved promising results in the past decades. Inspired by the success of Transformers, some methods attempt to tackle UDA problem by adopting pure transformer architectures, and interpret the models by applying the long-range dependency strategy at image patch-level. However, the algorithmic complexity is high and the interpretability seems weak. In this paper, we propose the Domain-Transformer (DoT) for UDA, which integrates the CNN-backbones and the core attention mechanism of Transformers from a new perspective. Specifically, a plug-and-play domain-level attention mechanism is proposed to learn the sample correspondence between domains. This is significantly different from existing methods which only capture the local interactions among image patches. Instead of explicitly modeling the distribution discrepancy from either domain-level or class-level, DoT learns transferable features by achieving the local semantic consistency across domains, where the domain-level attention and manifold regularization are explored. Then, DoT is free of pseudo-labels and explicit domain discrepancy optimization. Theoretically, DoT is connected with the optimal transportation algorithm and statistical learning theory. The connection provides a new insight to understand the core component of Transformers. Extensive experiments on several benchmark datasets validate the effectiveness of DoT.
• Abstract（参考訳）: パターン分析とマシンインテリジェンスにおいて重要な問題として、Unsupervised Domain Adaptation (UDA)は、効果的な特徴学習者をラベル付きソースドメインからラベル付きターゲットドメインに転送する方法を研究する。 畳み込みニューラルネットワーク(CNN)に基づく多くの手法が過去数十年で有望な成果を上げてきた。 トランスフォーマーの成功に触発されて、純粋なトランスフォーマーアーキテクチャを採用してUDA問題に取り組み、イメージパッチレベルでの長距離依存性戦略を適用してモデルを解釈する手法もある。 しかし、アルゴリズムの複雑さは高く、解釈性は弱く見える。 本稿では,新しい視点からcnnバックボーンとトランスフォーマのコアアテンション機構を統合したudaのdomain-transformer (dot)を提案する。 具体的には、ドメイン間のサンプル対応を学習するために、プラグアンドプレイのドメインレベルの注意機構を提案する。 これは、画像パッチ間の局所的な相互作用のみをキャプチャする既存の方法とは大きく異なる。 dotは、ドメインレベルの注意と多様体の正則化が検討されるドメイン間の局所的な意味的一貫性を達成することで、ドメインレベルまたはクラスレベルの分配の不一致を明示的にモデル化する代わりに、転送可能な特徴を学習する。 次に、DoTは擬似ラベルと明示的なドメイン不一致最適化を含まない。 理論的には、dotは最適輸送アルゴリズムと統計学習理論と結びついている。 この接続はトランスフォーマーのコアコンポーネントを理解するための新しい洞察を提供する。 いくつかのベンチマークデータセットに対する大規模な実験は、DoTの有効性を検証する。

関連論文リスト

• Exploring Consistency in Cross-Domain Transformer for Domain Adaptive Semantic Segmentation [51.10389829070684]
  ドメインギャップは、自己注意の相違を引き起こす可能性がある。 このギャップのため、変圧器は、ターゲット領域の精度を低下させる刺激領域または画素に付随する。 ドメイン横断の注意層を持つアテンションマップに適応する。
  論文  参考訳（メタデータ） (2022-11-27T02:40:33Z)
• Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from Mixture-of-Experts [33.21435044949033]
  既存のほとんどのメソッドは、単一のモデルを使って複数のソースドメインでトレーニングを行います。 本稿では,知識蒸留プロセスとして定式化された非教師なし試験時間適応のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-08T02:28:10Z)
• Domain Adaptation for Time-Series Classification to Mitigate Covariate Shift [3.071136270246468]
  本稿では,2つのステップに基づいた新しいドメイン適応手法を提案する。 まず、いくつかのサンプルから、ソースからターゲットドメインへの最適なクラス依存変換を探索する。 次に、埋め込み類似性技術を用いて、推論時に対応する変換を選択する。
  論文  参考訳（メタデータ） (2022-04-07T10:27:14Z)
• CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation [44.06904757181245]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから異なるラベル付きターゲットドメインに学習した知識を転送することを目的としている。 カテゴリレベルに基づくUDAの根本的な問題は、ターゲットドメインのサンプル用の擬似ラベルの生成である。 我々は,対象サンプルの擬似ラベルを生成するために,双方向中心認識ラベルアルゴリズムを設計する。 擬似ラベルとともに、ソース/ターゲット特徴学習とソース/ターゲット領域アライメントに自己アテンションとクロスアテンションを適用するために、ウェイトシェアリング・トリプルブランチ・トランスフォーマー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T17:59:07Z)
• Improving Transferability of Domain Adaptation Networks Through Domain Alignment Layers [1.3766148734487902]
  マルチソースアン教師付きドメイン適応(MSDA)は、ソースモデルの袋から弱い知識を割り当てることで、ラベルのないドメインの予測子を学習することを目的としている。 我々は,DomaIn Alignment Layers (MS-DIAL) のマルチソースバージョンを予測器の異なるレベルに埋め込むことを提案する。 我々の手法は最先端のMSDA法を改善することができ、分類精度の相対利得は+30.64%に達する。
  論文  参考訳（メタデータ） (2021-09-06T18:41:19Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Exploring Sequence Feature Alignment for Domain Adaptive Detection Transformers [141.70707071815653]
  本稿では,検出変圧器の適応に特化して設計された新しいシーケンス特徴アライメント(SFA)法を提案する。 SFAはドメインクエリベースの機能アライメント(DQFA)モジュールとトークンワイド機能アライメント(TDA)モジュールで構成される。 3つの挑戦的なベンチマーク実験により、SFAは最先端のドメイン適応オブジェクト検出方法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-07-27T07:17:12Z)
• AFAN: Augmented Feature Alignment Network for Cross-Domain Object Detection [90.18752912204778]
  オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。 本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。 提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-10T05:01:20Z)
• Domain Conditioned Adaptation Network [90.63261870610211]
  本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。 これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
  論文  参考訳（メタデータ） (2020-05-14T04:23:24Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。