論文の概要: Can We Evaluate Domain Adaptation Models Without Target-Domain Labels?
- arxiv url: http://arxiv.org/abs/2305.18712v2
- Date: Tue, 30 Jan 2024 11:11:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 19:29:47.097835
- Title: Can We Evaluate Domain Adaptation Models Without Target-Domain Labels?
- Title（参考訳）: ターゲットドメインラベルのないドメイン適応モデルの評価は可能か?
- Authors: Jianfei Yang, Hanjie Qian, Yuecong Xu, Kai Wang, Lihua Xie
- Abstract要約: 教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル豊富なソースドメインでトレーニングされたモデルをラベルなしのターゲットドメインに適応させる。
現実のシナリオでは、ターゲットドメインラベルがないため、UDAモデルの性能を評価するのは難しい。
これらの問題に対処するため,textitTransfer Scoreと呼ばれる新しいメトリクスを提案する。
- 参考スコア（独自算出の注目度）: 36.05871459064825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised domain adaptation (UDA) involves adapting a model trained on a
label-rich source domain to an unlabeled target domain. However, in real-world
scenarios, the absence of target-domain labels makes it challenging to evaluate
the performance of UDA models. Furthermore, prevailing UDA methods relying on
adversarial training and self-training could lead to model degeneration and
negative transfer, further exacerbating the evaluation problem. In this paper,
we propose a novel metric called the \textit{Transfer Score} to address these
issues. The proposed metric enables the unsupervised evaluation of UDA models
by assessing the spatial uniformity of the classifier via model parameters, as
well as the transferability and discriminability of deep representations. Based
on the metric, we achieve three novel objectives without target-domain labels:
(1) selecting the best UDA method from a range of available options, (2)
optimizing hyperparameters of UDA models to prevent model degeneration, and (3)
identifying which checkpoint of UDA model performs optimally. Our work bridges
the gap between data-level UDA research and practical UDA scenarios, enabling a
realistic assessment of UDA model performance. We validate the effectiveness of
our metric through extensive empirical studies on UDA datasets of different
scales and imbalanced distributions. The results demonstrate that our metric
robustly achieves the aforementioned goals.
- Abstract（参考訳）: 教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル豊富なソースドメインでトレーニングされたモデルをラベルなしのターゲットドメインに適応させる。
しかし、現実のシナリオでは、ターゲットドメインラベルがないため、UDAモデルの性能を評価することは困難である。
さらに, 対人訓練と自己学習に頼ってUDA法が普及すると, モデル変性と負の移動が生じ, 評価問題がさらに悪化する可能性がある。
本稿では,これらの問題に対処する新しい指標である「textit{Transfer Score}」を提案する。
提案手法は,モデルパラメータによる分類器の空間的均一性,深部表現の伝達性と識別性を評価することで,udaモデルの教師なし評価を可能にする。
提案手法は,対象ドメインを含まない3つの新たな目的を達成し,(1)利用可能な選択肢から最適なUDA法を選択すること,(2)モデル劣化を防止するためにUDAモデルのハイパーパラメーターを最適化すること,(3)UDAモデルのどのチェックポイントが最適かを同定すること,である。
我々の研究は、データレベルのUDA研究と実践的なUDAシナリオのギャップを埋め、UDAモデルの性能の現実的な評価を可能にします。
異なるスケールのUDAデータセットと不均衡分布に関する広範な実験研究を通じて,我々の測定値の有効性を検証する。
その結果、上記の目標をしっかりと達成できることがわかった。
関連論文リスト
- Unveiling the Superior Paradigm: A Comparative Study of Source-Free Domain Adaptation and Unsupervised Domain Adaptation [52.36436121884317]
Source-Free Domain Adaptation (SFDA) は、現実のシナリオにおいて、Unsupervised Domain Adaptation (UDA) よりも一般的に優れていることを示す。
SFDAは、時間効率、ストレージ要件、対象とする学習目標、負の移動リスクの低減、過度な適合に対する堅牢性の向上といった利点を提供している。
利用可能なソースデータをマルチSFDA手法に効果的に統合する新しい重み推定法を提案する。
論文 参考訳（メタデータ） (2024-11-24T13:49:29Z) - Unsupervised Domain Adaptation Via Data Pruning [0.0]
非教師なし領域適応(UDA)の観点から問題を考える。
本稿では,UDAのトレーニング例を取り除き,トレーニング分布を対象データと整合させる手法であるAdaPruneを提案する。
UDAの手法として、AdaPruneは関連する技術より優れており、CoRALなどの他のUDAアルゴリズムと相補的であることを示す。
論文 参考訳（メタデータ） (2024-09-18T15:48:59Z) - Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。
オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
論文 参考訳（メタデータ） (2023-07-30T11:38:46Z) - SRoUDA: Meta Self-training for Robust Unsupervised Domain Adaptation [25.939292305808934]
教師なしドメイン適応(UDA)は、リッチラベルデータセットから学習した知識をラベルなしターゲットデータセットに転送することができる。
本稿では,UDAモデルの対角的ロバスト性を改善するために,SRoUDAというメタ自己学習パイプラインを提案する。
論文 参考訳（メタデータ） (2022-12-12T14:25:40Z) - Exploring Adversarially Robust Training for Unsupervised Domain
Adaptation [71.94264837503135]
Unsupervised Domain Adaptation (UDA)メソッドは、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。
本稿では、UDAのドメイン不変性を学習しながら、ATを介してラベルなしデータのロバスト性を高める方法について検討する。
本稿では,ARTUDA と呼ばれる UDA の適応的ロバストトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-02-18T17:05:19Z) - UMAD: Universal Model Adaptation under Domain and Category Shift [138.12678159620248]
Universal Model Adaptation (UMAD)フレームワークは、ソースデータにアクセスせずに両方のUDAシナリオを処理する。
未知のサンプルと未知のサンプルを識別するのに役立つ情報整合性スコアを開発した。
オープンセットおよびオープンパーティルセット UDA シナリオの実験では、UMAD が最先端のデータ依存手法に匹敵する性能を示した。
論文 参考訳（メタデータ） (2021-12-16T01:22:59Z) - Adversarial Robustness for Unsupervised Domain Adaptation [48.51898925429575]
本研究では、複数の堅牢なImageNetモデルから学習した中間表現を活用し、UDAモデルの堅牢性を改善する。
提案手法は,UCAモデルの特徴と,ImageNet事前学習モデルで学習した頑健な特徴とを,ドメイン適応トレーニングとともに整合させることによって機能する。
論文 参考訳（メタデータ） (2021-09-02T13:45:01Z) - UDALM: Unsupervised Domain Adaptation through Language Modeling [79.73916345178415]
複合分類とマスキング言語モデル損失を用いた微調整手順であるUDALMについて紹介します。
本実験では, 混合損失スケールと利用可能な目標データの量で訓練されたモデルの性能を, 停止基準として有効に用いることを示した。
この方法は、amazon reviewsセンチメントデータセットの12のドメインペアで評価され、9.1.74%の精度が得られ、最先端よりも1.11%の絶対的な改善が得られます。
論文 参考訳（メタデータ） (2021-04-14T19:05:01Z) - Robustified Domain Adaptation [13.14535125302501]
非教師付きドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの知識伝達に広く使用される。
UDAにおける避けられないドメイン分布の偏りは、ターゲットドメインの堅牢性をモデル化するための重要な障壁である。
頑健な UDA モデルをトレーニングするための新しいクラス一貫性のないunsupervised Domain Adaptation (CURDA) フレームワークを提案する。
論文 参考訳（メタデータ） (2020-11-18T22:21:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。