論文の概要: Test-Time Adaptation Induces Stronger Accuracy and Agreement-on-the-Line

• arxiv url: http://arxiv.org/abs/2310.04941v2
• Date: Thu, 07 Nov 2024 21:00:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:53:01.201283
• Title: Test-Time Adaptation Induces Stronger Accuracy and Agreement-on-the-Line
• Title（参考訳）: テスト時間適応はより正確な精度と一致を誘導する
• Authors: Eungyeup Kim, Mingjie Sun, Christina Baek, Aditi Raghunathan, J. Zico Kolter,
• Abstract要約: 最近のテスト時間適応 (TTA) 法は, モデルに非常に弱い相関関係を示すシフトであっても, ACL と AGL の傾向を大幅に強化する。 この結果から,TTAとAGLに基づく推定手法を組み合わせることで,より広い分布シフトの集合に対する高精度なモデルOOD性能を推定できることが示唆された。
• 参考スコア（独自算出の注目度）: 65.14099135546594
• License:
• Abstract: Recently, Miller et al. (2021) and Baek et al. (2022) empirically demonstrated strong linear correlations between in-distribution (ID) versus out-of-distribution (OOD) accuracy and agreement. These trends, coined accuracy-on-the-line (ACL) and agreement-on-the-line (AGL), enable OOD model selection and performance estimation without labeled data. However, these phenomena also break for certain shifts, such as CIFAR10-C Gaussian Noise, posing a critical bottleneck. In this paper, we make a key finding that recent test-time adaptation (TTA) methods not only improve OOD performance, but drastically strengthen the ACL and AGL trends in models, even in shifts where models showed very weak correlations before. To analyze this, we revisit the theoretical conditions from Miller et al. (2021) that outline the types of distribution shifts needed for perfect ACL in linear models. Surprisingly, these conditions are satisfied after applying TTA to deep models in the penultimate feature embedding space. In particular, TTA causes the data distribution to collapse complex shifts into those can be expressed by a singular scaling variable in the feature space. Our results show that by combining TTA with AGL-based estimation methods, we can estimate the OOD performance of models with high precision for a broader set of distribution shifts. This lends us a simple system for selecting the best hyperparameters and adaptation strategy without any OOD labeled data.
• Abstract（参考訳）: 近年、Miller et al (2021) と Baek et al (2022) は、分布内(ID) と分布外(OOD) の精度と一致の強い線形相関を実証的に証明している。 これらの傾向は, ラベル付きデータなしでOODモデルの選択と性能評価を可能にする。 しかし、これらの現象は、CIFAR10-C ガウスノイズのような特定のシフトにも影響し、重大なボトルネックを生じさせる。 本稿では,最近のテスト時間適応(TTA)手法がOOD性能を向上するだけでなく,モデルにおけるACLとAGLのトレンドを大幅に強化することを示す。 これを解析するために、線形モデルにおける完全ACLに必要な分布シフトのタイプを概説するMiller et al (2021) の理論的条件を再検討する。 驚くべきことに、これらの条件は、TTAを最小特徴埋め込み空間の深部モデルに適用した後に満たされる。 特に、TTAは、データ分布が複素シフトを崩壊させる原因となり、特徴空間内の特異なスケーリング変数で表現できる。 この結果から,TTAとAGLに基づく推定手法を組み合わせることで,より広い分布シフトの集合に対する高精度なモデルOOD性能を推定できることが示唆された。 これにより、OODラベル付きデータなしで最適なハイパーパラメータと適応戦略を選択するための簡単なシステムが得られる。

関連論文リスト

• AETTA: Label-Free Accuracy Estimation for Test-Time Adaptation [7.079932622432037]
  テスト時間適応(TTA)は、未ラベルのテストデータを使用して、事前訓練されたモデルをドメインシフトに適応するための実行可能なソリューションとして登場した。 ラベルのないTTAの精度推定アルゴリズムであるAETTAを提案する。 AETTAはベースラインと比較して平均19.8%の精度で推定可能である。
  論文  参考訳（メタデータ） (2024-04-01T04:21:49Z)
• Test-time Adaptation Meets Image Enhancement: Improving Accuracy via Uncertainty-aware Logit Switching [7.837009376353597]
  テスト時間適応(TTA)は実用性からよく研究されている。 入力画像をTTA手法に組み込むことにより,予測の不確実性を低減できる。 TECA(Test-time Enhancer and Adaptation)は,予測の不確かさを低減し,TTA法の精度を向上させる。
  論文  参考訳（メタデータ） (2024-03-26T06:40:03Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Persistent Test-time Adaptation in Recurring Testing Scenarios [12.024233973321756]
  現在のテスト時間適応(TTA)アプローチは、継続的に変化する環境に機械学習モデルを適用することを目的としている。 しかし,TTA法が長期にわたって適応性を維持することができるかどうかは不明である。 本稿では,モデルが崩壊に向かって変動していることを検知し,適応戦略を調整する永続的TTA(PeTTA)を提案する。
  論文  参考訳（メタデータ） (2023-11-30T02:24:44Z)
• Diverse Data Augmentation with Diffusions for Effective Test-time Prompt Tuning [73.75282761503581]
  DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。 DiffTPTがゼロショット精度を平均5.13%向上することを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:36:31Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• Towards Stable Test-Time Adaptation in Dynamic Wild World [60.98073673220025]
  テスト時間適応(TTA)は、与えられたモデルをテストサンプルに適応させることで、トレーニングとテストデータの分散シフトに取り組むのに有効であることが示されている。 TTAのオンラインモデル更新は不安定であり、これはしばしば既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
  論文  参考訳（メタデータ） (2023-02-24T02:03:41Z)
• Robust Continual Test-time Adaptation: Instance-aware BN and Prediction-balanced Memory [58.72445309519892]
  テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。 a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
  論文  参考訳（メタデータ） (2022-08-10T03:05:46Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。