論文の概要: Feature Fusion Transferability Aware Transformer for Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2411.07794v1
• Date: Sun, 10 Nov 2024 22:23:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:18:30.251234
• Title: Feature Fusion Transferability Aware Transformer for Unsupervised Domain Adaptation
• Title（参考訳）: 教師なし領域適応のための特徴核融合可能性を考慮した変換器
• Authors: Xiaowei Yu, Zhe Huang, Zao Zhang,
• Abstract要約: Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから学んだ知識を活用し、ラベルなしターゲットドメインのパフォーマンスを改善することを目的としている。 近年の研究では、視覚変換器(ViT)の応用が期待されている。 本稿では,UDAタスクにおけるVT性能を向上させるために,FFTAT(Feature Fusion Transferability Aware Transformer)を提案する。
• 参考スコア（独自算出の注目度）: 1.9035011984138845
• License:
• Abstract: Unsupervised domain adaptation (UDA) aims to leverage the knowledge learned from labeled source domains to improve performance on the unlabeled target domains. While Convolutional Neural Networks (CNNs) have been dominant in previous UDA methods, recent research has shown promise in applying Vision Transformers (ViTs) to this task. In this study, we propose a novel Feature Fusion Transferability Aware Transformer (FFTAT) to enhance ViT performance in UDA tasks. Our method introduces two key innovations: First, we introduce a patch discriminator to evaluate the transferability of patches, generating a transferability matrix. We integrate this matrix into self-attention, directing the model to focus on transferable patches. Second, we propose a feature fusion technique to fuse embeddings in the latent space, enabling each embedding to incorporate information from all others, thereby improving generalization. These two components work in synergy to enhance feature representation learning. Extensive experiments on widely used benchmarks demonstrate that our method significantly improves UDA performance, achieving state-of-the-art (SOTA) results.
• Abstract（参考訳）: Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから学んだ知識を活用し、ラベルなしターゲットドメインのパフォーマンスを改善することを目的としている。 従来のUDA手法では畳み込みニューラルネットワーク(CNN)が主流であったが、近年の研究では、このタスクに視覚変換器(ViT)を適用することが約束されている。 本研究では,UDAタスクにおけるVT性能を向上させるために,FFTAT(Feature Fusion Transferability Aware Transformer)を提案する。 まず、パッチの転送可能性を評価するパッチ判別器を導入し、転送可能性行列を生成する。 このマトリックスを自己アテンションに統合し、モデルに転送可能なパッチにフォーカスするように指示します。 第2に,潜伏空間に埋め込みを融合させる機能融合手法を提案し,各埋め込みが他のすべての情報と組み合わされ,一般化が向上する。 これら2つのコンポーネントは、特徴表現学習を強化するためにシナジーで動作する。 広範に使用されているベンチマーク実験により,本手法がUDA性能を大幅に向上し,SOTA(State-of-the-art)結果が得られた。

関連論文リスト

• Vision Transformer-based Adversarial Domain Adaptation [5.611768906855499]
  視覚変換器(ViT)は出現以来注目され、様々なコンピュータビジョンタスクで広く利用されている。 本稿では,このギャップを,対向領域適応における特徴抽出器としてViTを用いて埋める。 敵領域適応において, ViT がプラグイン・アンド・プレイコンポーネントとなることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-04-24T11:41:28Z)
• Improving Source-Free Target Adaptation with Vision Transformers Leveraging Domain Representation Images [8.626222763097335]
  Unsupervised Domain Adaptation (UDA)メソッドは、ラベル付きソースドメインからラベル付きターゲットドメインへの知識転送を容易にする。 本稿では、キー、クエリ、値要素がViT結果にどのように影響するかを評価することから、ソースフリーなターゲット適応におけるViT性能を高める革新的な方法を提案する。 ドメイン表現画像(DRI)は、ドメイン固有のマーカーとして機能し、トレーニングレギュレータとシームレスにマージする。
  論文  参考訳（メタデータ） (2023-11-21T13:26:13Z)
• ViDA: Homeostatic Visual Domain Adapter for Continual Test Time Adaptation [48.039156140237615]
  目標ドメインの継続的な変更に事前訓練されたモデルを適用するために、連続的なテスト時間適応タスクを提案する。 我々はCTTA用のVisual Domain Adapter (ViDA) を設計し、ドメイン固有知識とドメイン共有知識の両方を明示的に扱う。 提案手法は,CTTAタスクの分類とセグメント化の両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-06-07T11:18:53Z)
• Robust Representation Learning with Self-Distillation for Domain Generalization [2.0817769887373245]
  本稿では,ロバスト表現学習(Robust Representation Learning with Self-Distillation)と呼ばれる新しい領域一般化手法を提案する。 3つのデータセットの最先端データに対して、平均精度を1.2%から2.3%に改善する。
  論文  参考訳（メタデータ） (2023-02-14T07:39:37Z)
• Unsupervised Domain Adaptation for Video Transformers in Action Recognition [76.31442702219461]
  ビデオ行動認識のためのシンプルで斬新なUDA手法を提案する。 私たちのアプローチでは、ターゲットドメインをより一般化した堅牢なソースモデルを構築しています。 UDAのための2つのビデオアクションベンチマークの認識結果について報告する。
  論文  参考訳（メタデータ） (2022-07-26T12:17:39Z)
• Activating More Pixels in Image Super-Resolution Transformer [53.87533738125943]
  トランスフォーマーベースの手法は、画像超解像のような低レベルの視覚タスクにおいて顕著な性能を示している。 本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。 提案手法は1dB以上で最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-05-09T17:36:58Z)
• Safe Self-Refinement for Transformer-based Domain Adaptation [73.8480218879]
  Unsupervised Domain Adaptation (UDA)は、ラベル豊富なソースドメインを活用して、関連するラベルのないターゲットドメイン上のタスクを解決することを目的としている。 特にソースとターゲットドメインの間に大きなドメインギャップがある場合、これは難しい問題です。 SSRT (Safe Self-Refinement for Transformer-based domain adaptation) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-04-16T00:15:46Z)
• Domain Adaptation via Bidirectional Cross-Attention Transformer [4.643871270374136]
  ドメイン適応(DA)のための双方向クロスアテンション変換器(BCAT)を提案する。 BCATでは、アテンションメカニズムが暗黙のソースとターゲットのミックスアップ特徴表現を抽出し、ドメインの差を狭めることができる。 実験により,提案したBCATモデルは,4つのベンチマークデータセットにおいて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2022-01-15T16:49:56Z)
• TVT: Transferable Vision Transformer for Unsupervised Domain Adaptation [54.61786380919243]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから学習した知識をラベル付きターゲットドメインに転送することを目的としている。 これまでの研究は主に、ドメイン不変表現を学ぶために畳み込みニューラルネットワーク(CNN)上に構築されていた。 近年、視覚タスクに視覚変換器(ViT)を適用する指数関数的増加に伴い、ドメイン間の知識を適応するViTの能力は文献上未解明のままである。
  論文  参考訳（メタデータ） (2021-08-12T22:37:43Z)
• Transformer-Based Source-Free Domain Adaptation [134.67078085569017]
  本研究では,ソースフリードメイン適応(SFDA)の課題について検討する。 我々は、FDAの一般化モデルを学ぶためのTransformer(TransDA)という、汎用的で効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-28T23:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。