論文の概要: Better Practices for Domain Adaptation

• arxiv url: http://arxiv.org/abs/2309.03879v1
• Date: Thu, 7 Sep 2023 17:44:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 11:56:51.850584
• Title: Better Practices for Domain Adaptation
• Title（参考訳）: ドメイン適応のためのより良い実践
• Authors: Linus Ericsson, Da Li and Timothy M. Hospedales
• Abstract要約: ドメイン適応(DA)は、ラベルを使わずに、モデルを配置データに適用するためのフレームワークを提供することを目的としている。 DAの明確な検証プロトコルは、文献の悪い実践につながっている。 ドメイン適応手法の3つの分野にまたがる課題を示す。
• 参考スコア（独自算出の注目度）: 62.70267990659201
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distribution shifts are all too common in real-world applications of machine learning. Domain adaptation (DA) aims to address this by providing various frameworks for adapting models to the deployment data without using labels. However, the domain shift scenario raises a second more subtle challenge: the difficulty of performing hyperparameter optimisation (HPO) for these adaptation algorithms without access to a labelled validation set. The unclear validation protocol for DA has led to bad practices in the literature, such as performing HPO using the target test labels when, in real-world scenarios, they are not available. This has resulted in over-optimism about DA research progress compared to reality. In this paper, we analyse the state of DA when using good evaluation practice, by benchmarking a suite of candidate validation criteria and using them to assess popular adaptation algorithms. We show that there are challenges across all three branches of domain adaptation methodology including Unsupervised Domain Adaptation (UDA), Source-Free Domain Adaptation (SFDA), and Test Time Adaptation (TTA). While the results show that realistically achievable performance is often worse than expected, they also show that using proper validation splits is beneficial, as well as showing that some previously unexplored validation metrics provide the best options to date. Altogether, our improved practices covering data, training, validation and hyperparameter optimisation form a new rigorous pipeline to improve benchmarking, and hence research progress, within this important field going forward.
• Abstract（参考訳）: 分散シフトは、機械学習の現実世界のアプリケーションではあまりにも一般的です。 ドメイン適応(da)は、ラベルを使わずにデプロイデータにモデルを適用するためのフレームワークを提供することで、これに対処することを目的としています。 しかし、ドメインシフトシナリオは、ラベル付き検証セットにアクセスせずにこれらの適応アルゴリズムに対してハイパーパラメータ最適化(HPO)を実行することの難しさという、さらに微妙な問題を引き起こす。 DAの不明瞭な検証プロトコルは、現実のシナリオでは利用できない場合、ターゲットテストラベルを使用してHPOを実行するなど、文学における悪い実践につながっている。 これは現実と比較してda研究の進展を過大に最適化する結果となった。 本稿では,適切な評価手法を用いてDAの状態を分析し,候補検証基準のベンチマークを行い,それを一般的な適応アルゴリズムの評価に用いる。 本稿では、Unsupervised Domain Adaptation (UDA)、Source-Free Domain Adaptation (SFDA)、Test Time Adaptation (TTA)の3つの分野にまたがる課題について述べる。 その結果、現実的に達成可能なパフォーマンスは期待以上に悪い場合が多いが、適切なバリデーションスプリットを使用することが有益であると同時に、これまで未調査だったバリデーションメトリクスが、これまでで最も優れた選択肢を提供していることも示している。 さらに、データ、トレーニング、検証、ハイパーパラメータ最適化に関する私たちの改善されたプラクティスは、ベンチマークを改善するための新たな厳格なパイプラインを形成します。

関連論文リスト

• SKADA-Bench: Benchmarking Unsupervised Domain Adaptation Methods with Realistic Validation [55.87169702896249]
  Unsupervised Domain Adaptation (DA) は、ラベル付きソースドメインでトレーニングされたモデルを適用して、ラベルなしのターゲットドメインでデータ分散シフトをうまく実行する。 本稿では,DA手法の評価と,再重み付け,マッピング,部分空間アライメントなど,既存の浅層アルゴリズムの公平な評価を行うフレームワークを提案する。 本ベンチマークでは,現実的な検証の重要性を強調し,現実的なアプリケーションに対する実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-07-16T12:52:29Z)
• What, How, and When Should Object Detectors Update in Continually Changing Test Domains? [34.13756022890991]
  テストデータを推測しながらモデルをオンラインに適応させるテスト時適応アルゴリズムが提案されている。 連続的に変化するテスト領域におけるオブジェクト検出のための新しいオンライン適応手法を提案する。 提案手法は,広く使用されているベンチマークのベースラインを超え,最大4.9%,mAP7.9%の改善を実現している。
  論文  参考訳（メタデータ） (2023-12-12T07:13:08Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Tune it the Right Way: Unsupervised Validation of Domain Adaptation via Soft Neighborhood Density [125.64297244986552]
  本稿では,点間の類似度分布のエントロピーを計算し,ソフト近傍の密度を測定する教師なし検証基準を提案する。 私たちの基準は、競合する検証方法よりもシンプルですが、より効果的です。
  論文  参考訳（メタデータ） (2021-08-24T17:41:45Z)
• VisDA-2021 Competition Universal Domain Adaptation to Improve Performance on Out-of-Distribution Data [64.91713686654805]
  Visual Domain Adaptation (VisDA) 2021コンペティションは、新しいテストディストリビューションに適応するモデルの能力をテストする。 我々は,新しい視点,背景,モダリティ,品質劣化への適応性を評価する。 厳密なプロトコルを使用してパフォーマンスを計測し、最先端のドメイン適応手法と比較する。
  論文  参考訳（メタデータ） (2021-07-23T03:21:51Z)
• Self-Domain Adaptation for Face Anti-Spoofing [31.441928816043536]
  推論時にラベルのないテストドメインデータを利用するための自己ドメイン適応フレームワークを提案する。 トレーニングステップで複数のソースドメインのデータを用いて,メタラーニングに基づく適応学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-24T08:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。