論文の概要: Three New Validators and a Large-Scale Benchmark Ranking for Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2208.07360v4
• Date: Wed, 17 May 2023 23:24:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 21:02:45.419882
• Title: Three New Validators and a Large-Scale Benchmark Ranking for Unsupervised Domain Adaptation
• Title（参考訳）: 教師なしドメイン適応のための3つの新しい検証と大規模ベンチマークランキング
• Authors: Kevin Musgrave, Serge Belongie, Ser-Nam Lim
• Abstract要約: 教師なしドメイン適応(UDA)のための3つの新しいバリデータを提案する。 私たちは、1000,000のチェックポイントの大規模なデータセットで、他の5つのバリデータと比較し、ランク付けします。 提案するバリデータのうち2つは,様々な環境で最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 37.03614011735927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Changes to hyperparameters can have a dramatic effect on model accuracy. Thus, the tuning of hyperparameters plays an important role in optimizing machine-learning models. An integral part of the hyperparameter-tuning process is the evaluation of model checkpoints, which is done through the use of "validators". In a supervised setting, these validators evaluate checkpoints by computing accuracy on a validation set that has labels. In contrast, in an unsupervised setting, the validation set has no such labels. Without any labels, it is impossible to compute accuracy, so validators must estimate accuracy instead. But what is the best approach to estimating accuracy? In this paper, we consider this question in the context of unsupervised domain adaptation (UDA). Specifically, we propose three new validators, and we compare and rank them against five other existing validators, on a large dataset of 1,000,000 checkpoints. Extensive experimental results show that two of our proposed validators achieve state-of-the-art performance in various settings. Finally, we find that in many cases, the state-of-the-art is obtained by a simple baseline method. To the best of our knowledge, this is the largest empirical study of UDA validators to date. Code is available at https://www.github.com/KevinMusgrave/powerful-benchmarker.
• Abstract（参考訳）: ハイパーパラメータの変更はモデルの精度に劇的な影響を与える可能性がある。 したがって、ハイパーパラメータのチューニングは機械学習モデルの最適化において重要な役割を果たす。 ハイパーパラメータチューニングプロセスの不可欠な部分は、モデルチェックポイントの評価である。 教師付き設定では、これらのバリデーターはラベルを持つ検証セット上で精度を計算してチェックポイントを評価する。 対照的に、教師なしの設定では、検証セットはそのようなラベルを持たない。 ラベルがないと精度を計算できないため、バリデーターは精度を推定しなければならない。 しかし、正確さを推定する最善のアプローチは何でしょう? 本稿では、教師なしドメイン適応(UDA)の文脈において、この問題を考察する。 具体的には、3つの新しいバリデータを提案し、1000,000のチェックポイントの大規模なデータセット上で、既存の5つのバリデータと比較し、ランク付けする。 実験結果から,提案するバリデータのうち2つが,様々な環境下での最先端性能を実現することを示す。 最後に、多くの場合、最先端技術は単純なベースライン法によって得られる。 我々の知る限りでは、これはこれまでで最大のUDA検証者の実証研究である。 コードはhttps://www.github.com/KevinMusgrave/powerful-benchmarker.comで入手できる。

関連論文リスト

• Crafting Distribution Shifts for Validation and Training in Single Source Domain Generalization [9.323285246024518]
  単一ソースドメインの一般化は、ソースドメインのモデルを学習し、未確認のターゲットドメインにデプロイしようとする。 トレーニング分布に対する検証の標準的な実践は、モデルの一般化能力を正確に反映していない。 我々は、拡張の包括的リストでソースドメインイメージを変換することで、独立した検証セットを構築する。
  論文  参考訳（メタデータ） (2024-09-29T20:52:50Z)
• SKADA-Bench: Benchmarking Unsupervised Domain Adaptation Methods with Realistic Validation [55.87169702896249]
  Unsupervised Domain Adaptation (DA) は、ラベル付きソースドメインでトレーニングされたモデルを適用して、ラベルなしのターゲットドメインでデータ分散シフトをうまく実行する。 本稿では,DA手法の評価と,再重み付け,マッピング,部分空間アライメントなど,既存の浅層アルゴリズムの公平な評価を行うフレームワークを提案する。 本ベンチマークでは,現実的な検証の重要性を強調し,現実的なアプリケーションに対する実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-07-16T12:52:29Z)
• Better Practices for Domain Adaptation [62.70267990659201]
  ドメイン適応(DA)は、ラベルを使わずに、モデルを配置データに適用するためのフレームワークを提供することを目的としている。 DAの明確な検証プロトコルは、文献の悪い実践につながっている。 ドメイン適応手法の3つの分野にまたがる課題を示す。
  論文  参考訳（メタデータ） (2023-09-07T17:44:18Z)
• A Study of Unsupervised Evaluation Metrics for Practical and Automatic Domain Adaptation [15.728090002818963]
  教師なしドメイン適応(UDA)メソッドは、ラベルなしでターゲットドメインへのモデル転送を容易にする。 本稿では,対象の検証ラベルにアクセスすることなく,移動モデルの品質を評価できる評価指標を見つけることを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T05:01:05Z)
• Rethinking the Setting of Semi-supervised Learning on Graphs [29.5439965223]
  グラフ上の半教師付き学習の現在の設定は、不公平な比較をもたらすかもしれないと論じる。 本稿では,検証セット内のラベル情報を完全に活用するアプローチであるValidUtilを提案する。
  論文  参考訳（メタデータ） (2022-05-28T11:31:19Z)
• On the Limits of Evaluating Embodied Agent Model Generalization Using Validation Sets [101.28658250723804]
  本稿では,より広い視野を効果的に活用し,次のステップでナビゲーションや操作を行うかを選択するモジュールによるトランスフォーマーモデルの拡張実験を行う。 提案したモジュールは改良され,実際に,一般的なベンチマークデータセットであるALFREDの未確認検証セット上での最先端のパフォーマンスが向上した。 この結果は、機械学習タスクではより広い現象かもしれないが、主にテストスプリットの評価を制限するベンチマークでのみ顕著である、と我々は考えているので強調する。
  論文  参考訳（メタデータ） (2022-05-18T23:52:21Z)
• Tune it the Right Way: Unsupervised Validation of Domain Adaptation via Soft Neighborhood Density [125.64297244986552]
  本稿では,点間の類似度分布のエントロピーを計算し,ソフト近傍の密度を測定する教師なし検証基準を提案する。 私たちの基準は、競合する検証方法よりもシンプルですが、より効果的です。
  論文  参考訳（メタデータ） (2021-08-24T17:41:45Z)
• Robustness of Accuracy Metric and its Inspirations in Learning with Noisy Labels [51.66448070984615]
  十分な数の雑音サンプルに対してトレーニング精度を最大化すると,ほぼ最適な分類器が得られることを示す。 検証のために、ノイズの多い検証セットが信頼できることを証明し、モデル選択のクリティカルな要求に対処する。 理論結果に動機づけられて,ノイズラベルをトレーニングしたモデルの特徴付けを行い,ノイズ検証セットの有用性を検証する。
  論文  参考訳（メタデータ） (2020-12-08T03:37:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。