論文の概要: Domain Adaptation via Bidirectional Cross-Attention Transformer

• arxiv url: http://arxiv.org/abs/2201.05887v1
• Date: Sat, 15 Jan 2022 16:49:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 14:25:14.968388
• Title: Domain Adaptation via Bidirectional Cross-Attention Transformer
• Title（参考訳）: 双方向クロスアテンション変換器によるドメイン適応
• Authors: Xiyu Wang, Pengxin Guo, and Yu Zhang
• Abstract要約: ドメイン適応(DA)のための双方向クロスアテンション変換器(BCAT)を提案する。 BCATでは、アテンションメカニズムが暗黙のソースとターゲットのミックスアップ特徴表現を抽出し、ドメインの差を狭めることができる。 実験により,提案したBCATモデルは,4つのベンチマークデータセットにおいて優れた性能を示すことが示された。
• 参考スコア（独自算出の注目度）: 4.643871270374136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain Adaptation (DA) aims to leverage the knowledge learned from a source domain with ample labeled data to a target domain with unlabeled data only. Most existing studies on DA contribute to learning domain-invariant feature representations for both domains by minimizing the domain gap based on convolution-based neural networks. Recently, vision transformers significantly improved performance in multiple vision tasks. Built on vision transformers, in this paper we propose a Bidirectional Cross-Attention Transformer (BCAT) for DA with the aim to improve the performance. In the proposed BCAT, the attention mechanism can extract implicit source and target mix-up feature representations to narrow the domain discrepancy. Specifically, in BCAT, we design a weight-sharing quadruple-branch transformer with a bidirectional cross-attention mechanism to learn domain-invariant feature representations. Extensive experiments demonstrate that the proposed BCAT model achieves superior performance on four benchmark datasets over existing state-of-the-art DA methods that are based on convolutions or transformers.
• Abstract（参考訳）: ドメイン適応(DA)は、十分なラベル付きデータを持つソースドメインから学習した知識を、ラベルなしデータのみを持つターゲットドメインに活用することを目的としている。 DAに関する既存の研究のほとんどは、畳み込みベースのニューラルネットワークに基づくドメインギャップを最小限にすることで、両方のドメインに対するドメイン不変の特徴表現の学習に貢献している。 近年,視覚トランスフォーマは複数の視覚タスクの性能を大幅に改善している。 本稿では,視覚変換器をベースとしたDA用双方向クロスアテンション変換器(BCAT)を提案する。 BCATでは、アテンション機構が暗黙のソースとターゲットの混合特徴表現を抽出し、ドメインの差を狭めることができる。 具体的には、BCATにおいて、ドメイン不変の特徴表現を学習するための双方向のクロスアテンション機構を備えた重み共有四重分岐変換器を設計する。 大規模な実験により、提案したBCATモデルは、畳み込みやトランスフォーマーに基づく既存の最先端のDAメソッドよりも、4つのベンチマークデータセットで優れた性能を発揮することが示された。

関連論文リスト

• Feature Fusion Transferability Aware Transformer for Unsupervised Domain Adaptation [1.9035011984138845]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから学んだ知識を活用し、ラベルなしターゲットドメインのパフォーマンスを改善することを目的としている。 近年の研究では、視覚変換器(ViT)の応用が期待されている。 本稿では,UDAタスクにおけるVT性能を向上させるために,FFTAT(Feature Fusion Transferability Aware Transformer)を提案する。
  論文  参考訳（メタデータ） (2024-11-10T22:23:12Z)
• Safe Self-Refinement for Transformer-based Domain Adaptation [73.8480218879]
  Unsupervised Domain Adaptation (UDA)は、ラベル豊富なソースドメインを活用して、関連するラベルのないターゲットドメイン上のタスクを解決することを目的としている。 特にソースとターゲットドメインの間に大きなドメインギャップがある場合、これは難しい問題です。 SSRT (Safe Self-Refinement for Transformer-based domain adaptation) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-04-16T00:15:46Z)
• CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation [44.06904757181245]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから異なるラベル付きターゲットドメインに学習した知識を転送することを目的としている。 カテゴリレベルに基づくUDAの根本的な問題は、ターゲットドメインのサンプル用の擬似ラベルの生成である。 我々は,対象サンプルの擬似ラベルを生成するために,双方向中心認識ラベルアルゴリズムを設計する。 擬似ラベルとともに、ソース/ターゲット特徴学習とソース/ターゲット領域アライメントに自己アテンションとクロスアテンションを適用するために、ウェイトシェアリング・トリプルブランチ・トランスフォーマー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T17:59:07Z)
• Deep Adversarial Transition Learning using Cross-Grafted Generative Stacks [3.756448228784421]
  本稿では,ドメインギャップを埋める新たなDATL(Deep Adversarial transition Learning)フレームワークを提案する。 2つの領域に対して可変オートエンコーダ(VAE)を構築し、VAEのデコーダスタックをクロスグラフすることで双方向遷移を形成する。 生成敵対ネットワーク(GAN)は、対象ドメインデータをソースドメインの既知のラベル空間にマッピングするドメイン適応に使用される。
  論文  参考訳（メタデータ） (2020-09-25T04:25:27Z)
• Adaptively-Accumulated Knowledge Transfer for Partial Domain Adaptation [66.74638960925854]
  部分ドメイン適応(PDA)は、ソースドメインラベル空間がターゲットドメインを置き換えるとき、現実的で困難な問題を扱う。 本稿では,2つの領域にまたがる関連カテゴリを整合させる適応的知識伝達フレームワーク(A$2KT)を提案する。
  論文  参考訳（メタデータ） (2020-08-27T00:53:43Z)
• Domain Conditioned Adaptation Network [90.63261870610211]
  本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。 これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
  論文  参考訳（メタデータ） (2020-05-14T04:23:24Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)
• Towards Fair Cross-Domain Adaptation via Generative Learning [50.76694500782927]
  ドメイン適応(DA)は、よくラベル付けされたソースドメイン上でトレーニングされたモデルを、異なる分散に横たわる未ラベルのターゲットドメインに適応することを目的としています。 本研究では,新規な生成的Few-shot Cross-Domain Adaptation (GFCA) アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-03-04T23:25:09Z)
• Bi-Directional Generation for Unsupervised Domain Adaptation [61.73001005378002]
  教師なしのドメイン適応は、確立されたソースドメイン情報に依存するラベルなしのターゲットドメインを促進する。 従来の手法では、潜在空間におけるドメインの不一致を強制的に低減することで、本質的なデータ構造が破壊される。 本稿では、2つの中間領域をブリッジソースとターゲットドメインに補間する一貫した分類器を用いた双方向生成ドメイン適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-12T09:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。