論文の概要: Can We Evaluate Domain Adaptation Models Without Target-Domain Labels? A
Metric for Unsupervised Evaluation of Domain Adaptation
- arxiv url: http://arxiv.org/abs/2305.18712v1
- Date: Tue, 30 May 2023 03:36:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 18:40:17.854450
- Title: Can We Evaluate Domain Adaptation Models Without Target-Domain Labels? A
Metric for Unsupervised Evaluation of Domain Adaptation
- Title（参考訳）: ターゲットドメインラベルのないドメイン適応モデルの評価は可能か?
領域適応の教師なし評価のための指標
- Authors: Jianfei Yang, Hanjie Qian, Yuecong Xu, Lihua Xie
- Abstract要約: 教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル豊富なソースドメインでトレーニングされたモデルをラベルなしのターゲットドメインに適応させる。
本稿では,これらの問題に対処するため,textitTransfer Scoreと呼ばれる新しいメトリクスを提案する。
- 参考スコア（独自算出の注目度）: 29.36965686704798
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised domain adaptation (UDA) involves adapting a model trained on a
label-rich source domain to an unlabeled target domain. However, in real-world
scenarios, the absence of target-domain labels makes it challenging to evaluate
the performance of deep models after UDA. Additionally, prevailing UDA methods
typically rely on adversarial training and self-training, which could lead to
model degeneration and negative transfer, further exacerbating the evaluation
problem. In this paper, we propose a novel metric called the \textit{Transfer
Score} to address these issues. The transfer score enables the unsupervised
evaluation of domain adaptation models by assessing the spatial uniformity of
the classifier via model parameters, as well as the transferability and
discriminability of the feature space. Based on unsupervised evaluation using
our metric, we achieve three goals: (1) selecting the most suitable UDA method
from a range of available options, (2) optimizing hyperparameters of UDA models
to prevent model degeneration, and (3) identifying the epoch at which the
adapted model performs optimally. Our work bridges the gap between UDA research
and practical UDA evaluation, enabling a realistic assessment of UDA model
performance. We validate the effectiveness of our metric through extensive
empirical studies conducted on various public datasets. The results demonstrate
the utility of the transfer score in evaluating UDA models and its potential to
enhance the overall efficacy of UDA techniques.
- Abstract（参考訳）: 教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル豊富なソースドメインでトレーニングされたモデルをラベルなしのターゲットドメインに適応させる。
しかし、現実のシナリオでは、ターゲットドメインラベルがないため、UDA後のディープモデルの性能を評価することは困難である。
さらに、一般的なUDA手法は、通常、敵の訓練と自己学習に依存しており、モデル変性と負の移動を引き起こし、さらに評価問題を悪化させる可能性がある。
本稿では,これらの問題に対処する新しい指標である「textit{Transfer Score}」を提案する。
伝達スコアは、モデルパラメータによる分類器の空間的均一性や特徴空間の伝達性と識別性を評価することにより、ドメイン適応モデルの教師なし評価を可能にする。
本測定値を用いた教師なし評価に基づいて,(1) 利用可能な選択肢から最適なUDA法を選択すること,(2) モデル劣化を防止するためにUDAモデルのハイパーパラメータを最適化すること,(3) 適応モデルが最適に機能するエポックを同定すること,の3つの目標を達成する。
我々の研究は、UDA研究と実践的UDA評価のギャップを埋め、UDAモデルの性能の現実的な評価を可能にする。
我々は,様々な公共データセット上で実施した広範囲な実証研究を通じて,測定値の有効性を検証する。
その結果, UDAモデルの評価における転送スコアの有用性と, UDA手法の総合的有効性を高める可能性を示した。
関連論文リスト
- Unveiling the Superior Paradigm: A Comparative Study of Source-Free Domain Adaptation and Unsupervised Domain Adaptation [52.36436121884317]
Source-Free Domain Adaptation (SFDA) は、現実のシナリオにおいて、Unsupervised Domain Adaptation (UDA) よりも一般的に優れていることを示す。
SFDAは、時間効率、ストレージ要件、対象とする学習目標、負の移動リスクの低減、過度な適合に対する堅牢性の向上といった利点を提供している。
利用可能なソースデータをマルチSFDA手法に効果的に統合する新しい重み推定法を提案する。
論文 参考訳（メタデータ） (2024-11-24T13:49:29Z) - Unsupervised Domain Adaptation Via Data Pruning [0.0]
非教師なし領域適応(UDA)の観点から問題を考える。
本稿では,UDAのトレーニング例を取り除き,トレーニング分布を対象データと整合させる手法であるAdaPruneを提案する。
UDAの手法として、AdaPruneは関連する技術より優れており、CoRALなどの他のUDAアルゴリズムと相補的であることを示す。
論文 参考訳（メタデータ） (2024-09-18T15:48:59Z) - Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。
オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
論文 参考訳（メタデータ） (2023-07-30T11:38:46Z) - SRoUDA: Meta Self-training for Robust Unsupervised Domain Adaptation [25.939292305808934]
教師なしドメイン適応(UDA)は、リッチラベルデータセットから学習した知識をラベルなしターゲットデータセットに転送することができる。
本稿では,UDAモデルの対角的ロバスト性を改善するために,SRoUDAというメタ自己学習パイプラインを提案する。
論文 参考訳（メタデータ） (2022-12-12T14:25:40Z) - Exploring Adversarially Robust Training for Unsupervised Domain
Adaptation [71.94264837503135]
Unsupervised Domain Adaptation (UDA)メソッドは、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。
本稿では、UDAのドメイン不変性を学習しながら、ATを介してラベルなしデータのロバスト性を高める方法について検討する。
本稿では,ARTUDA と呼ばれる UDA の適応的ロバストトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-02-18T17:05:19Z) - UMAD: Universal Model Adaptation under Domain and Category Shift [138.12678159620248]
Universal Model Adaptation (UMAD)フレームワークは、ソースデータにアクセスせずに両方のUDAシナリオを処理する。
未知のサンプルと未知のサンプルを識別するのに役立つ情報整合性スコアを開発した。
オープンセットおよびオープンパーティルセット UDA シナリオの実験では、UMAD が最先端のデータ依存手法に匹敵する性能を示した。
論文 参考訳（メタデータ） (2021-12-16T01:22:59Z) - Adversarial Robustness for Unsupervised Domain Adaptation [48.51898925429575]
本研究では、複数の堅牢なImageNetモデルから学習した中間表現を活用し、UDAモデルの堅牢性を改善する。
提案手法は,UCAモデルの特徴と,ImageNet事前学習モデルで学習した頑健な特徴とを,ドメイン適応トレーニングとともに整合させることによって機能する。
論文 参考訳（メタデータ） (2021-09-02T13:45:01Z) - UDALM: Unsupervised Domain Adaptation through Language Modeling [79.73916345178415]
複合分類とマスキング言語モデル損失を用いた微調整手順であるUDALMについて紹介します。
本実験では, 混合損失スケールと利用可能な目標データの量で訓練されたモデルの性能を, 停止基準として有効に用いることを示した。
この方法は、amazon reviewsセンチメントデータセットの12のドメインペアで評価され、9.1.74%の精度が得られ、最先端よりも1.11%の絶対的な改善が得られます。
論文 参考訳（メタデータ） (2021-04-14T19:05:01Z) - Robustified Domain Adaptation [13.14535125302501]
非教師付きドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの知識伝達に広く使用される。
UDAにおける避けられないドメイン分布の偏りは、ターゲットドメインの堅牢性をモデル化するための重要な障壁である。
頑健な UDA モデルをトレーニングするための新しいクラス一貫性のないunsupervised Domain Adaptation (CURDA) フレームワークを提案する。
論文 参考訳（メタデータ） (2020-11-18T22:21:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。