論文の概要: EUDA: An Efficient Unsupervised Domain Adaptation via Self-Supervised Vision Transformer

• arxiv url: http://arxiv.org/abs/2407.21311v1
• Date: Wed, 31 Jul 2024 03:29:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 18:51:29.070846
• Title: EUDA: An Efficient Unsupervised Domain Adaptation via Self-Supervised Vision Transformer
• Title（参考訳）: EUDA: 自己監督型視覚変換器による効率的な教師なしドメイン適応
• Authors: Ali Abedi, Q. M. Jonathan Wu, Ning Zhang, Farhad Pourpanah,
• Abstract要約: 教師なしドメイン適応(UDA)は、トレーニング(ソース)データの分散がテスト(ターゲット)データと異なる領域シフトの問題を軽減することを目的としている。 この問題に対処するために多くのモデルが開発され、近年では視覚変換器(ViT)が有望な結果を示している。 本稿では、トレーニング可能なパラメータを削減し、調整可能な複雑性を実現するための効率的なモデルを提案する。
• 参考スコア（独自算出の注目度）: 21.59850502993888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised domain adaptation (UDA) aims to mitigate the domain shift issue, where the distribution of training (source) data differs from that of testing (target) data. Many models have been developed to tackle this problem, and recently vision transformers (ViTs) have shown promising results. However, the complexity and large number of trainable parameters of ViTs restrict their deployment in practical applications. This underscores the need for an efficient model that not only reduces trainable parameters but also allows for adjustable complexity based on specific needs while delivering comparable performance. To achieve this, in this paper we introduce an Efficient Unsupervised Domain Adaptation (EUDA) framework. EUDA employs the DINOv2, which is a self-supervised ViT, as a feature extractor followed by a simplified bottleneck of fully connected layers to refine features for enhanced domain adaptation. Additionally, EUDA employs the synergistic domain alignment loss (SDAL), which integrates cross-entropy (CE) and maximum mean discrepancy (MMD) losses, to balance adaptation by minimizing classification errors in the source domain while aligning the source and target domain distributions. The experimental results indicate the effectiveness of EUDA in producing comparable results as compared with other state-of-the-art methods in domain adaptation with significantly fewer trainable parameters, between 42% to 99.7% fewer. This showcases the ability to train the model in a resource-limited environment. The code of the model is available at: https://github.com/A-Abedi/EUDA.
• Abstract（参考訳）: 教師なしドメイン適応(UDA)は、トレーニング(ソース)データの分散がテスト(ターゲット)データと異なる領域シフトの問題を軽減することを目的としている。 この問題に対処するために多くのモデルが開発され、近年では視覚変換器(ViT)が有望な結果を示している。 しかし、ViTの複雑さとトレーニング可能なパラメータの多さは、実用アプリケーションへの展開を制限している。 これにより、トレーニング可能なパラメータを削減できるだけでなく、特定のニーズに基づいて調整可能な複雑性を実現し、同等のパフォーマンスを提供する効率的なモデルの必要性が浮き彫りになる。 そこで本稿では,EUDA(Efficient Unsupervised Domain Adaptation)フレームワークを紹介する。 EUDAは、自己監督型ViTであるDINOv2を特徴抽出器として採用し、拡張されたドメイン適応のための機能を洗練するために完全に接続されたレイヤのボトルネックを単純化した。 さらに、EUDAは、ソースドメインとターゲットドメインの分布を整列させながら、ソースドメインの分類エラーを最小限に抑えることで適応のバランスをとるために、クロスエントロピー(CE)と最大平均誤差(MMD)を統合したシナジスティックドメインアライメントロス(SDAL)を採用している。 実験の結果、EUDAは、訓練可能なパラメータが著しく少なく、42%から99.7%少ないドメイン適応における、他の最先端の手法と比較して、同等の結果を生み出す効果を示している。 これはリソース制限された環境でモデルをトレーニングする能力を示す。 モデルのコードは、https://github.com/A-Abedi/EUDA.comで公開されている。

関連論文リスト

• Unveiling the Superior Paradigm: A Comparative Study of Source-Free Domain Adaptation and Unsupervised Domain Adaptation [52.36436121884317]
  Source-Free Domain Adaptation (SFDA) は、現実のシナリオにおいて、Unsupervised Domain Adaptation (UDA) よりも一般的に優れていることを示す。 SFDAは、時間効率、ストレージ要件、対象とする学習目標、負の移動リスクの低減、過度な適合に対する堅牢性の向上といった利点を提供している。 利用可能なソースデータをマルチSFDA手法に効果的に統合する新しい重み推定法を提案する。
  論文  参考訳（メタデータ） (2024-11-24T13:49:29Z)
• Trust And Balance: Few Trusted Samples Pseudo-Labeling and Temperature Scaled Loss for Effective Source-Free Unsupervised Domain Adaptation [16.5799094981322]
  Few Trusted Samples Pseudo-labeling (FTSP) and Temperature Scaled Adaptive Loss (TSAL)を紹介する。 FTSPは、ターゲットデータからの信頼されたサンプルの限られたサブセットを使用して、ドメイン全体の擬似ラベルを推論する分類器を構築する。 TSALは、ユニークな双対温度スケジューリング、漸近的なバランスの多様性、識別性、擬似ラベルの組み込みで設計されている。
  論文  参考訳（メタデータ） (2024-09-01T15:09:14Z)
• Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
  Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。 IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。 提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
  論文  参考訳（メタデータ） (2023-09-25T15:56:01Z)
• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Uncertainty-Aware Source-Free Adaptive Image Super-Resolution with Wavelet Augmentation Transformer [60.31021888394358]
  Unsupervised Domain Adaptation (UDA)は、現実世界の超解像(SR)における領域ギャップ問題に効果的に対処できる 本稿では,画像SR(SODA-SR)のためのSOurce-free Domain Adaptationフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-31T03:14:44Z)
• Diffusion-based Target Sampler for Unsupervised Domain Adaptation [5.025971841729201]
  大きなドメインシフトと対象ドメインのサンプル不足により、既存のUDAメソッドは最適以下のパフォーマンスを実現する。 そこで我々はDTS(Diffusion-based Target Sampler)を提案する。 生成されたサンプルは、ターゲットドメインのデータ分布を十分にシミュレートすることができ、既存のUDAメソッドがソースドメインからターゲットドメインへの転送をより容易にするのに役立つ。
  論文  参考訳（メタデータ） (2023-03-17T02:07:43Z)
• Towards Unsupervised Domain Adaptation via Domain-Transformer [0.0]
  教師なしドメイン適応(UDA)のためのドメイン変換器(DoT)を提案する。 DoTは新しい視点から、CNNバックボーンとTransformerのコアアテンションメカニズムを統合する。 ドメイン間の局所的な意味的一貫性を実現し、そこではドメインレベルの注意と多様体の正規化が探索される。
  論文  参考訳（メタデータ） (2022-02-24T02:30:15Z)
• Dynamic Domain Adaptation for Efficient Inference [12.713628738434881]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベルなしターゲットドメインへの知識転送を可能にする。 以前のdaアプローチのほとんどは、適応能力を改善するために複雑で強力なディープニューラルネットワークを活用する。 低リソースシナリオにおいて効率的なターゲット推論を同時に実現できる動的ドメイン適応(DDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-26T08:53:16Z)
• Knowledge Distillation for BERT Unsupervised Domain Adaptation [2.969705152497174]
  トレーニング済みの言語モデルであるBERTは、さまざまな自然言語処理タスクで大幅なパフォーマンス向上を実現している。 蒸留による逆順応法(AAD)を提案する。 ドメイン間感情分類におけるアプローチを30組のドメイン対で評価した。
  論文  参考訳（メタデータ） (2020-10-22T06:51:24Z)
• Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision [73.76277367528657]
  畳み込みニューラルネットワークに基づくアプローチは、セマンティックセグメンテーションにおいて顕著な進歩を遂げた。 この制限に対処するために、グラフィックエンジンから生成された注釈付きデータを使用してセグメンテーションモデルをトレーニングする。 ドメイン間およびドメイン間ギャップを最小化する2段階の自己教師付きドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2020-04-16T15:24:11Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。