論文の概要: AETTA: Label-Free Accuracy Estimation for Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2404.01351v1
• Date: Mon, 1 Apr 2024 04:21:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 20:56:59.871112
• Title: AETTA: Label-Free Accuracy Estimation for Test-Time Adaptation
• Title（参考訳）: AETTA:テスト時間適応のためのラベルなし精度推定
• Authors: Taeckyung Lee, Sorn Chottananurak, Taesik Gong, Sung-Ju Lee,
• Abstract要約: テスト時間適応(TTA)は、未ラベルのテストデータを使用して、事前訓練されたモデルをドメインシフトに適応するための実行可能なソリューションとして登場した。 ラベルのないTTAの精度推定アルゴリズムであるAETTAを提案する。 AETTAはベースラインと比較して平均19.8%の精度で推定可能である。
• 参考スコア（独自算出の注目度）: 7.079932622432037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time adaptation (TTA) has emerged as a viable solution to adapt pre-trained models to domain shifts using unlabeled test data. However, TTA faces challenges of adaptation failures due to its reliance on blind adaptation to unknown test samples in dynamic scenarios. Traditional methods for out-of-distribution performance estimation are limited by unrealistic assumptions in the TTA context, such as requiring labeled data or re-training models. To address this issue, we propose AETTA, a label-free accuracy estimation algorithm for TTA. We propose the prediction disagreement as the accuracy estimate, calculated by comparing the target model prediction with dropout inferences. We then improve the prediction disagreement to extend the applicability of AETTA under adaptation failures. Our extensive evaluation with four baselines and six TTA methods demonstrates that AETTA shows an average of 19.8%p more accurate estimation compared with the baselines. We further demonstrate the effectiveness of accuracy estimation with a model recovery case study, showcasing the practicality of our model recovery based on accuracy estimation. The source code is available at https://github.com/taeckyung/AETTA.
• Abstract（参考訳）: テスト時間適応(TTA)は、未ラベルのテストデータを使用して、事前訓練されたモデルをドメインシフトに適応するための実行可能なソリューションとして登場した。 しかし、TTAは、動的シナリオにおける未知のテストサンプルへの盲点適応に依存するため、適応失敗の課題に直面している。 従来のアウト・オブ・ディストリビューション性能推定法は、ラベル付きデータや再学習モデルなどのTTAコンテキストにおける非現実的な仮定によって制限される。 そこで本稿では,TTAのラベルなし精度推定アルゴリズムであるAETTAを提案する。 本稿では,予測不一致を精度推定として,目標モデル予測とドロップアウト推定を比較して計算する。 次に,適応障害下でのAETTAの適用性を高めるための予測不一致を改善する。 4つのベースラインと6つのTTA手法による広範囲な評価は、AETTAがベースラインと比較して平均19.8%pの精度で推定できることを示している。 さらに、モデル回復事例研究による精度推定の有効性を実証し、精度推定に基づくモデル回復の実用性を示す。 ソースコードはhttps://github.com/taeckyung/AETTAで入手できる。

関連論文リスト

• Test-time Adaptation Meets Image Enhancement: Improving Accuracy via Uncertainty-aware Logit Switching [7.837009376353597]
  テスト時間適応(TTA)は実用性からよく研究されている。 入力画像をTTA手法に組み込むことにより,予測の不確実性を低減できる。 TECA(Test-time Enhancer and Adaptation)は,予測の不確かさを低減し,TTA法の精度を向上させる。
  論文  参考訳（メタデータ） (2024-03-26T06:40:03Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Persistent Test-time Adaptation in Recurring Testing Scenarios [12.024233973321756]
  現在のテスト時間適応(TTA)アプローチは、継続的に変化する環境に機械学習モデルを適用することを目的としている。 しかし,TTA法が長期にわたって適応性を維持することができるかどうかは不明である。 本稿では,モデルが崩壊に向かって変動していることを検知し,適応戦略を調整する永続的TTA(PeTTA)を提案する。
  論文  参考訳（メタデータ） (2023-11-30T02:24:44Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
  新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。 このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• Robust Continual Test-time Adaptation: Instance-aware BN and Prediction-balanced Memory [58.72445309519892]
  テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。 a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
  論文  参考訳（メタデータ） (2022-08-10T03:05:46Z)
• Estimating Model Performance under Domain Shifts with Class-Specific Confidence Scores [25.162667593654206]
  不均衡なデータセットのパフォーマンス推定の枠組みの中で,クラスワイドキャリブレーションを導入する。 我々は、4つのタスクの実験を行い、提案した修正により、不均衡なデータセットの推定精度を一貫して改善する。
  論文  参考訳（メタデータ） (2022-07-20T15:04:32Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。