論文の概要: Realistic Evaluation of Test-Time Adaptation Algorithms: Unsupervised Hyperparameter Selection

• arxiv url: http://arxiv.org/abs/2407.14231v1
• Date: Fri, 19 Jul 2024 11:58:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 17:44:33.967403
• Title: Realistic Evaluation of Test-Time Adaptation Algorithms: Unsupervised Hyperparameter Selection
• Title（参考訳）: テスト時間適応アルゴリズムの現実的評価:教師なしハイパーパラメータ選択
• Authors: Sebastian Cygert, Damian Sójka, Tomasz Trzciński, Bartłomiej Twardowski,
• Abstract要約: TTA(Test-Time Adaptation)は、分散シフト下での機械学習モデルロバストネスの問題に対処するための有望な戦略として登場した。 我々は,サロゲートベースのhp選択戦略を用いて既存のTTA手法を評価し,その性能をより現実的に評価する。
• 参考スコア（独自算出の注目度）: 1.4530711901349282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-Time Adaptation (TTA) has recently emerged as a promising strategy for tackling the problem of machine learning model robustness under distribution shifts by adapting the model during inference without access to any labels. Because of task difficulty, hyperparameters strongly influence the effectiveness of adaptation. However, the literature has provided little exploration into optimal hyperparameter selection. In this work, we tackle this problem by evaluating existing TTA methods using surrogate-based hp-selection strategies (which do not assume access to the test labels) to obtain a more realistic evaluation of their performance. We show that some of the recent state-of-the-art methods exhibit inferior performance compared to the previous algorithms when using our more realistic evaluation setup. Further, we show that forgetting is still a problem in TTA as the only method that is robust to hp-selection resets the model to the initial state at every step. We analyze different types of unsupervised selection strategies, and while they work reasonably well in most scenarios, the only strategies that work consistently well use some kind of supervision (either by a limited number of annotated test samples or by using pretraining data). Our findings underscore the need for further research with more rigorous benchmarking by explicitly stating model selection strategies, to facilitate which we open-source our code.
• Abstract（参考訳）: テスト時間適応(TTA)は、最近、ラベルにアクセスせずに推論中にモデルを適応することにより、分散シフトの下での機械学習モデルロバストネスの問題に取り組むための有望な戦略として登場した。 タスク困難のため、ハイパーパラメータは適応の有効性に強く影響を及ぼす。 しかし、この文献は最適なハイパーパラメータ選択についてはほとんど調査を行っていない。 本研究では,サロゲートベースのhp選択戦略(テストラベルへのアクセスを前提としない)を用いて既存のTTA手法の評価を行い,より現実的な性能評価を実現する。 近年の最先端手法のいくつかは、我々のより現実的な評価設定を使用する場合、従来のアルゴリズムと比べて性能が劣っていることを示す。 さらに、hp選択に頑健な唯一の方法として、TTAでは、各ステップでモデルが初期状態にリセットされることが依然として問題であることを示す。 さまざまなタイプの教師なし選択戦略を分析し、ほとんどのシナリオで合理的に機能するが、一貫して機能する唯一の戦略は、ある種の監督(注釈付きテストサンプルの数が少ないか、事前学習データを使用すること)をうまく利用している。 我々の発見は、より厳密なベンチマークでさらなる研究の必要性を浮き彫りにして、我々のコードをオープンソース化するためのモデル選択戦略を明確に述べています。

関連論文リスト

• SKADA-Bench: Benchmarking Unsupervised Domain Adaptation Methods with Realistic Validation [55.87169702896249]
  Unsupervised Domain Adaptation (DA) は、ラベル付きソースドメインでトレーニングされたモデルを適用して、ラベルなしのターゲットドメインでデータ分散シフトをうまく実行する。 本稿では,DA手法の評価と,再重み付け,マッピング,部分空間アライメントなど,既存の浅層アルゴリズムの公平な評価を行うフレームワークを提案する。 本ベンチマークでは,現実的な検証の重要性を強調し,現実的なアプリケーションに対する実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-07-16T12:52:29Z)
• Exploring Human-in-the-Loop Test-Time Adaptation by Synergizing Active Learning and Model Selection [40.06196132637536]
  既存のテスト時間適応(TTA)アプローチは、ラベルのないテストデータストリームでモデルに適応することが多い。 能動的学習とモデル選択を相乗化してHILTTAにアプローチすることを提案する。 提案手法は市販のTTA手法と互換性があることを5つのTTAデータセットで示す。
  論文  参考訳（メタデータ） (2024-05-29T09:13:30Z)
• Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
  テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。 完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
  論文  参考訳（メタデータ） (2024-04-07T22:31:34Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
  Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。 また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2022-09-23T07:47:33Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• Parameter-free Online Test-time Adaptation [19.279048049267388]
  実世界の様々なシナリオにおいて,テスト時間適応手法が事前学習されたモデルにどのような効果をもたらすかを示す。 我々は特に「保守的」なアプローチを提案し、ラプラシアン適応最大推定(LAME)を用いてこの問題に対処する。 提案手法では,既存の手法よりもシナリオの平均精度がはるかに高く,メモリフットプリントもはるかに高速である。
  論文  参考訳（メタデータ） (2022-01-15T00:29:16Z)
• Active Testing: Sample-Efficient Model Evaluation [39.200332879659456]
  サンプル効率のよいモデル評価のための新しいフレームワークであるactive testingを紹介する。 アクティブテストは、ラベルにテストポイントを慎重に選択することでこれに対処する。 我々は,推定器のばらつきを低減しつつ,バイアスの除去方法を示す。
  論文  参考訳（メタデータ） (2021-03-09T10:20:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。