論文の概要: SKADA-Bench: Benchmarking Unsupervised Domain Adaptation Methods with Realistic Validation
- arxiv url: http://arxiv.org/abs/2407.11676v1
- Date: Tue, 16 Jul 2024 12:52:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 15:02:09.538358
- Title: SKADA-Bench: Benchmarking Unsupervised Domain Adaptation Methods with Realistic Validation
- Title(参考訳): SKADA-Bench: 現実的検証による教師なしドメイン適応手法のベンチマーク
- Authors: Yanis Lalou, Théo Gnassounou, Antoine Collas, Antoine de Mathelin, Oleksii Kachaiev, Ambroise Odonnat, Alexandre Gramfort, Thomas Moreau, Rémi Flamary,
- Abstract要約: Unsupervised Domain Adaptation (DA) は、ラベル付きソースドメインでトレーニングされたモデルを適用して、ラベルなしのターゲットドメインでデータ分散シフトをうまく実行する。
本稿では,DA手法の評価と,再重み付け,マッピング,部分空間アライメントなど,既存の浅層アルゴリズムの公平な評価を行うフレームワークを提案する。
本ベンチマークでは,現実的な検証の重要性を強調し,現実的なアプリケーションに対する実践的なガイダンスを提供する。
- 参考スコア(独自算出の注目度): 55.87169702896249
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unsupervised Domain Adaptation (DA) consists of adapting a model trained on a labeled source domain to perform well on an unlabeled target domain with some data distribution shift. While many methods have been proposed in the literature, fair and realistic evaluation remains an open question, particularly due to methodological difficulties in selecting hyperparameters in the unsupervised setting. With SKADA-Bench, we propose a framework to evaluate DA methods and present a fair evaluation of existing shallow algorithms, including reweighting, mapping, and subspace alignment. Realistic hyperparameter selection is performed with nested cross-validation and various unsupervised model selection scores, on both simulated datasets with controlled shifts and real-world datasets across diverse modalities, such as images, text, biomedical, and tabular data with specific feature extraction. Our benchmark highlights the importance of realistic validation and provides practical guidance for real-life applications, with key insights into the choice and impact of model selection approaches. SKADA-Bench is open-source, reproducible, and can be easily extended with novel DA methods, datasets, and model selection criteria without requiring re-evaluating competitors. SKADA-Bench is available on GitHub at https://github.com/scikit-adaptation/skada-bench.
- Abstract(参考訳): Unsupervised Domain Adaptation (DA) は、ラベル付きソースドメインでトレーニングされたモデルを適用して、ラベルなしのターゲットドメインでデータ分散シフトをうまく実行する。
文献では多くの手法が提案されているが、特に教師なし環境でハイパーパラメータを選択する方法の難しさから、公平で現実的な評価は未解決の課題である。
SKADA-Benchでは,DA手法の評価を行うフレームワークを提案し,再重み付けやマッピング,サブスペースアライメントなど,既存の浅層アルゴリズムを公平に評価する。
画像、テキスト、バイオメディカル、および特定の特徴抽出を伴う表データなど、さまざまなモダリティにまたがる、制御されたシフトを持つシミュレーションデータセットと実世界のデータセットの両方で、ネストされたクロスバリデーションと様々な教師なしモデル選択スコアを用いて、現実的なハイパーパラメータ選択が実行される。
我々のベンチマークでは、現実的な検証の重要性を強調し、現実的なアプリケーションのための実践的なガイダンスを提供し、モデル選択アプローチの選択と影響について重要な洞察を与えている。
SKADA-Benchはオープンソースで再現可能で、新しいDAメソッド、データセット、モデル選択基準で簡単に拡張できる。
SKADA-BenchはGitHubでhttps://github.com/scikit-adaptation/skada-bench.comから入手できる。
関連論文リスト
- A Conditioned Unsupervised Regression Framework Attuned to the Dynamic Nature of Data Streams [0.0]
本稿では,制限付きラベル付きデータを用いたストリーミング環境の最適戦略を提案し,教師なし回帰のための適応手法を提案する。
提案手法は,初期ラベルのスパースセットを活用し,革新的なドリフト検出機構を導入する。
適応性を高めるために,Adaptive WINdowingアルゴリズムとRoot Mean Square Error (RMSE)に基づく誤り一般化アルゴリズムを統合する。
論文 参考訳(メタデータ) (2023-12-12T19:23:54Z) - AR-TTA: A Simple Method for Real-World Continual Test-Time Adaptation [1.4530711901349282]
本稿では,自律運転のためのデータセット,すなわちCLAD-CとShiFTを用いたテスト時間適応手法の検証を提案する。
現在のテスト時間適応手法は、ドメインシフトの様々な程度を効果的に扱うのに苦労している。
モデル安定性を高めるために、小さなメモリバッファを組み込むことで、確立された自己学習フレームワークを強化する。
論文 参考訳(メタデータ) (2023-09-18T19:34:23Z) - Better Practices for Domain Adaptation [62.70267990659201]
ドメイン適応(DA)は、ラベルを使わずに、モデルを配置データに適用するためのフレームワークを提供することを目的としている。
DAの明確な検証プロトコルは、文献の悪い実践につながっている。
ドメイン適応手法の3つの分野にまたがる課題を示す。
論文 参考訳(メタデータ) (2023-09-07T17:44:18Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T07:45:53Z) - Divide and Adapt: Active Domain Adaptation via Customized Learning [56.79144758380419]
対象インスタンスを成層化可能な4つのカテゴリに分割する新しいADAフレームワークであるDiaNA(Divide-and-Adapt)を提案する。
不確実性とドメイン性に基づく新しいデータ分割プロトコルにより、DiaNAは最も有利なサンプルを正確に認識することができる。
の精神のおかげで、DiaNAはドメインギャップの大きなバリエーションでデータを処理できる。
論文 参考訳(メタデータ) (2023-07-21T14:37:17Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳(メタデータ) (2023-06-06T09:35:29Z) - ADATIME: A Benchmarking Suite for Domain Adaptation on Time Series Data [20.34427953468868]
教師なしドメイン適応手法は、トレーニングデータとは異なる分布を持つ可能性のあるラベルなしテストデータに基づいて、うまく一般化することを目的としている。
時系列ドメイン適応に関する既存の研究は、評価スキーム、データセット、バックボーンニューラルネットワークアーキテクチャの矛盾に悩まされている。
時系列データ上で異なるドメイン適応手法を体系的かつ適切に評価するベンチマーク評価スイート(AdaTime)を開発した。
論文 参考訳(メタデータ) (2022-03-15T23:55:05Z) - Towards Inheritable Models for Open-Set Domain Adaptation [56.930641754944915]
本稿では、将来、ソースデータセットが存在しない場合の適応を容易にするために、ソース学習モデルを用いた実用的なドメイン適応パラダイムを提案する。
本稿では,ソースデータがない場合でも,対象領域に対して最適なソースモデルの選択を可能にするために,継承可能性の定量化を目的とする手法を提案する。
論文 参考訳(メタデータ) (2020-04-09T07:16:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。