論文の概要: On Pitfalls of Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2306.03536v1
• Date: Tue, 6 Jun 2023 09:35:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 16:14:02.014831
• Title: On Pitfalls of Test-Time Adaptation
• Title（参考訳）: テスト時間適応の落とし穴について
• Authors: Hao Zhao, Yuejiang Liu, Alexandre Alahi, Tao Lin
• Abstract要約: TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
• 参考スコア（独自算出の注目度）: 82.8392232222119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-Time Adaptation (TTA) has recently emerged as a promising approach for tackling the robustness challenge under distribution shifts. However, the lack of consistent settings and systematic studies in prior literature hinders thorough assessments of existing methods. To address this issue, we present TTAB, a test-time adaptation benchmark that encompasses ten state-of-the-art algorithms, a diverse array of distribution shifts, and two evaluation protocols. Through extensive experiments, our benchmark reveals three common pitfalls in prior efforts. First, selecting appropriate hyper-parameters, especially for model selection, is exceedingly difficult due to online batch dependency. Second, the effectiveness of TTA varies greatly depending on the quality and properties of the model being adapted. Third, even under optimal algorithmic conditions, none of the existing methods are capable of addressing all common types of distribution shifts. Our findings underscore the need for future research in the field to conduct rigorous evaluations on a broader set of models and shifts, and to re-examine the assumptions behind the empirical success of TTA. Our code is available at \url{https://github.com/lins-lab/ttab}.
• Abstract（参考訳）: テスト時間適応(TTA)は、分散シフトの下で堅牢性に対処するための有望なアプローチとして最近登場した。 しかし、先行文献における一貫した設定や体系的な研究の欠如は、既存の手法の徹底的な評価を妨げる。 この問題に対処するため,我々は10の最先端アルゴリズム,多様な分散シフト,2つの評価プロトコルを含むテスト時間適応ベンチマークであるttabを提案する。 大規模な実験を通じて、我々のベンチマークは以前の取り組みに共通する3つの落とし穴を明らかにした。 まず、オンラインバッチ依存のため、特にモデル選択のための適切なハイパーパラメータの選択が極めて困難である。 第2に、TTAの有効性は、適合するモデルの質や性質によって大きく異なる。 第3に、最適なアルゴリズム条件下であっても、既存の手法では、すべての共通タイプの分散シフトに対処できない。 本研究は,より広範なモデルとシフトの厳密な評価と,TTAの実証的成功の背景にある仮定の再検討の必要性を明らかにするものである。 私たちのコードは \url{https://github.com/lins-lab/ttab} で利用可能です。

関連論文リスト

• ETAGE: Enhanced Test Time Adaptation with Integrated Entropy and Gradient Norms for Robust Model Performance [18.055032898349438]
  テスト時間適応(TTA)は、トレーニング分布から逸脱した未確認のテストデータを扱うために、ディープラーニングモデルを備えている。 本稿では,エントロピー最小化と勾配ノルム,PLPDを統合した改良TTA手法ETAGEを紹介する。 提案手法は,高エントロピーと高勾配ノルムを適応から組み合わせることで,不安定を生じにくいサンプルを優先する。
  論文  参考訳（メタデータ） (2024-09-14T01:25:52Z)
• UniTTA: Unified Benchmark and Versatile Framework Towards Realistic Test-Time Adaptation [66.05528698010697]
  Test-Time Adaptationは、テスト中にトレーニング済みのモデルを対象のドメインに適応させることを目的としている。 研究者は様々な挑戦シナリオを特定し、これらの課題に対処するための様々な方法を開発した。 本稿では,包括的かつ広く適用可能な統一テスト時間適応ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-07-29T15:04:53Z)
• Realistic Evaluation of Test-Time Adaptation Algorithms: Unsupervised Hyperparameter Selection [1.4530711901349282]
  TTA(Test-Time Adaptation)は、分散シフト下での機械学習モデルロバストネスの問題に対処するための有望な戦略として登場した。 我々は,サロゲートベースのhp選択戦略を用いて既存のTTA手法を評価し,その性能をより現実的に評価する。
  論文  参考訳（メタデータ） (2024-07-19T11:58:30Z)
• Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
  テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。 完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
  論文  参考訳（メタデータ） (2024-04-07T22:31:34Z)
• Universal Test-time Adaptation through Weight Ensembling, Diversity Weighting, and Prior Correction [3.5139431332194198]
  テスト時適応(TTA)はデプロイ後もモデルを更新し続け、現在のテストデータを活用する。 我々は、自己学習ベースの手法が対処しなければならないいくつかの課題を特定し、強調する。 モデルがバイアスを受けるのを防ぐために、データセットとモデルに依存しない確実性と多様性の重み付けを利用する。
  論文  参考訳（メタデータ） (2023-06-01T13:16:10Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
  新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。 このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
  Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。 また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2022-09-23T07:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。