論文の概要: Improving Source-Free Target Adaptation with Vision Transformers
Leveraging Domain Representation Images
- arxiv url: http://arxiv.org/abs/2311.12589v2
- Date: Sat, 2 Dec 2023 11:01:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 21:11:18.000886
- Title: Improving Source-Free Target Adaptation with Vision Transformers
Leveraging Domain Representation Images
- Title（参考訳）: ドメイン表現画像を利用した視覚トランスフォーマによるソースフリーターゲット適応の改善
- Authors: Gauransh Sawhney, Daksh Dave, Adeel Ahmed, Jiechao Gao, Khalid Saleem
- Abstract要約: Unsupervised Domain Adaptation (UDA)メソッドは、ラベル付きソースドメインからラベル付きターゲットドメインへの知識転送を容易にする。
本稿では、キー、クエリ、値要素がViT結果にどのように影響するかを評価することから、ソースフリーなターゲット適応におけるViT性能を高める革新的な方法を提案する。
ドメイン表現画像(DRI)は、ドメイン固有のマーカーとして機能し、トレーニングレギュレータとシームレスにマージする。
- 参考スコア（独自算出の注目度）: 8.626222763097335
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Unsupervised Domain Adaptation (UDA) methods facilitate knowledge transfer
from a labeled source domain to an unlabeled target domain, navigating the
obstacle of domain shift. While Convolutional Neural Networks (CNNs) are a
staple in UDA, the rise of Vision Transformers (ViTs) provides new avenues for
domain generalization. This paper presents an innovative method to bolster ViT
performance in source-free target adaptation, beginning with an evaluation of
how key, query, and value elements affect ViT outcomes. Experiments indicate
that altering the key component has negligible effects on Transformer
performance. Leveraging this discovery, we introduce Domain Representation
Images (DRIs), feeding embeddings through the key element. DRIs act as
domain-specific markers, effortlessly merging with the training regimen. To
assess our method, we perform target adaptation tests on the Cross Instance DRI
source-only (SO) control. We measure the efficacy of target adaptation with and
without DRIs, against existing benchmarks like SHOT-B* and adaptations via
CDTrans. Findings demonstrate that excluding DRIs offers limited gains over
SHOT-B*, while their inclusion in the key segment boosts average precision
promoting superior domain generalization. This research underscores the vital
role of DRIs in enhancing ViT efficiency in UDA scenarios, setting a precedent
for further domain adaptation explorations.
- Abstract（参考訳）: Unsupervised Domain Adaptation (UDA)メソッドは、ラベル付きソースドメインからラベルなしターゲットドメインへの知識伝達を促進し、ドメインシフトの障害をナビゲートする。
畳み込みニューラルネットワーク(CNN)はUDAの標準であるが、ビジョントランスフォーマー(ViT)の台頭はドメインの一般化に新たな道をもたらす。
本稿では,鍵,問合せ,値要素がvit結果にどのように影響するかの評価から,ソースフリーターゲット適応におけるvit性能を向上させる革新的な手法を提案する。
実験は、キー要素の変更がトランスフォーマーの性能に不可分な影響を及ぼすことを示している。
この発見を生かして、ドメイン表現画像(DRI)を導入し、キー要素を通じて埋め込みをフィードする。
DRIはドメイン固有のマーカーとして機能し、トレーニングレギュレータとシームレスにマージする。
提案手法を評価するため,Cross Instance DRI Source-only (SO) 制御のターゲット適応試験を行った。
SHOT-B* などの既存のベンチマークや CDTrans による適応に対して, DRI の有無による目標適応の有効性を測定した。
DRIを除いた場合、SHOT-B*よりも限られた利得が得られ、キーセグメントに含めると、より優れたドメインの一般化を促進する平均精度が向上する。
本研究は、UDAシナリオにおけるVT効率向上におけるDRIの意義を強調し、さらなるドメイン適応探索の先例となる。
関連論文リスト
- Vision Transformer-based Adversarial Domain Adaptation [5.611768906855499]
視覚変換器(ViT)は出現以来注目され、様々なコンピュータビジョンタスクで広く利用されている。
本稿では,このギャップを,対向領域適応における特徴抽出器としてViTを用いて埋める。
敵領域適応において, ViT がプラグイン・アンド・プレイコンポーネントとなることを実証的に実証した。
論文 参考訳（メタデータ） (2024-04-24T11:41:28Z) - Enhancing Visual Domain Adaptation with Source Preparation [5.287588907230967]
ドメイン適応技術は、ソースドメイン自体の特性を考慮できません。
本稿では,ソース領域バイアスを軽減する手法であるソース準備(SP)を提案する。
また,ベースライン上のmIoUでは最大40.64%の改善が見られた。
論文 参考訳（メタデータ） (2023-06-16T18:56:44Z) - Domain-Agnostic Prior for Transfer Semantic Segmentation [197.9378107222422]
教師なしドメイン適応(UDA)はコンピュータビジョンコミュニティにおいて重要なトピックである。
ドメインに依存しない事前学習(DAP)を用いてドメイン間表現学習を規則化する機構を提案する。
我々の研究は、UDAがより良いプロキシ、おそらく他のデータモダリティの恩恵を受けていることを明らかにしている。
論文 参考訳（メタデータ） (2022-04-06T09:13:25Z) - CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation [44.06904757181245]
Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから異なるラベル付きターゲットドメインに学習した知識を転送することを目的としている。
カテゴリレベルに基づくUDAの根本的な問題は、ターゲットドメインのサンプル用の擬似ラベルの生成である。
我々は,対象サンプルの擬似ラベルを生成するために,双方向中心認識ラベルアルゴリズムを設計する。
擬似ラベルとともに、ソース/ターゲット特徴学習とソース/ターゲット領域アライメントに自己アテンションとクロスアテンションを適用するために、ウェイトシェアリング・トリプルブランチ・トランスフォーマー・フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-13T17:59:07Z) - Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training
for Road Segmentation of Remote Sensing Images [93.50240389540252]
リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。
本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。
2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2021-08-28T09:29:14Z) - TVT: Transferable Vision Transformer for Unsupervised Domain Adaptation [54.61786380919243]
Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから学習した知識をラベル付きターゲットドメインに転送することを目的としている。
これまでの研究は主に、ドメイン不変表現を学ぶために畳み込みニューラルネットワーク(CNN)上に構築されていた。
近年、視覚タスクに視覚変換器(ViT)を適用する指数関数的増加に伴い、ドメイン間の知識を適応するViTの能力は文献上未解明のままである。
論文 参考訳（メタデータ） (2021-08-12T22:37:43Z) - Semi-Supervised Domain Adaptation via Adaptive and Progressive Feature
Alignment [32.77436219094282]
SSDASはラベル付きターゲットサンプルを、ラベル付きソースサンプルとラベルなしターゲットサンプルの間に適応的かつプログレッシブな特徴アライメントのためのアンカーとして採用している。
さらに、反復学習過程において、異種音源の特徴を高信頼目標特徴に置き換える。
広範な実験により、提案されたSSDASは、多くのベースラインを大きく上回っている。
論文 参考訳（メタデータ） (2021-06-05T09:12:50Z) - Transformer-Based Source-Free Domain Adaptation [134.67078085569017]
本研究では,ソースフリードメイン適応(SFDA)の課題について検討する。
我々は、FDAの一般化モデルを学ぶためのTransformer(TransDA)という、汎用的で効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-05-28T23:06:26Z) - Disentanglement-based Cross-Domain Feature Augmentation for Effective
Unsupervised Domain Adaptive Person Re-identification [87.72851934197936]
Unsupervised Domain Adaptive (UDA) Person Re-identification (ReID) は、ラベル付きソースドメインからラベル付きターゲットドメインへ知識を転送することを目的としている。
ひとつの課題は、トレーニング用に信頼できるラベルでターゲットドメインサンプルを生成する方法だ。
ディスタングルメントに基づくクロスドメイン機能拡張戦略を提案する。
論文 参考訳（メタデータ） (2021-03-25T15:28:41Z) - Effective Label Propagation for Discriminative Semi-Supervised Domain
Adaptation [76.41664929948607]
半教師付き領域適応(SSDA)法は,大規模な画像分類タスクにおいて大きな可能性を示している。
本稿では、ドメイン間およびドメイン内セマンティック情報を効果的に伝達することにより、この問題に対処する新しい効果的な方法を提案する。
ソースコードと事前訓練されたモデルも間もなくリリースされる予定です。
論文 参考訳（メタデータ） (2020-12-04T14:28:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。