論文の概要: Reliable Test-Time Adaptation via Agreement-on-the-Line
- arxiv url: http://arxiv.org/abs/2310.04941v1
- Date: Sat, 7 Oct 2023 23:21:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 14:16:18.223866
- Title: Reliable Test-Time Adaptation via Agreement-on-the-Line
- Title(参考訳): アグリーメント・オン・ザ・ラインによる信頼性の高いテストタイム適応
- Authors: Eungyeup Kim, Mingjie Sun, Aditi Raghunathan, Zico Kolter
- Abstract要約: テスト時間適応(TTA)手法は、ラベルのないデータを用いてモデルを適用することにより、分散シフトに対する堅牢性を改善することを目的としている。
我々は,TTAモデルがライン上のコンセンサス現象を強く示している,注目すべき,驚くべき観察を行う。
これらの観測を利用して、3つの視点でTTA法をより信頼性の高いものにする。
- 参考スコア(独自算出の注目度): 26.40837283545848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test-time adaptation (TTA) methods aim to improve robustness to distribution
shifts by adapting models using unlabeled data from the shifted test
distribution. However, there remain unresolved challenges that undermine the
reliability of TTA, which include difficulties in evaluating TTA performance,
miscalibration after TTA, and unreliable hyperparameter tuning for adaptation.
In this work, we make a notable and surprising observation that TTAed models
strongly show the agreement-on-the-line phenomenon (Baek et al., 2022) across a
wide range of distribution shifts. We find such linear trends occur
consistently in a wide range of models adapted with various hyperparameters,
and persist in distributions where the phenomenon fails to hold in vanilla
models (i.e., before adaptation). We leverage these observations to make TTA
methods more reliable in three perspectives: (i) estimating OOD accuracy
(without labeled data) to determine when TTA helps and when it hurts, (ii)
calibrating TTAed models without label information, and (iii) reliably
determining hyperparameters for TTA without any labeled validation data.
Through extensive experiments, we demonstrate that various TTA methods can be
precisely evaluated, both in terms of their improvements and degradations.
Moreover, our proposed methods on unsupervised calibration and hyperparameters
tuning for TTA achieve results close to the ones assuming access to
ground-truth labels, in terms of both OOD accuracy and calibration error.
- Abstract(参考訳): テスト時間適応 (TTA) 法は、シフトしたテスト分布からラベル付きデータを用いてモデルを適用することにより、分散シフトに対するロバスト性を改善することを目的としている。
しかし、TTAの性能評価の困難、TTA後の誤校正、適応のための信頼性の低いハイパーパラメータチューニングなど、TTAの信頼性を損なう未解決の課題が残っている。
本研究は,ttaedモデルが広範囲の分布シフトにまたがる合意・オン・ザ・ライン現象(baek et al., 2022)を強固に示す,注目すべきかつ驚くべき観察を行う。
このような線形傾向は、様々なハイパーパラメータで適応された幅広いモデルで一貫して発生し、その現象がバニラモデル(つまり適応前)で保持されない分布で持続する。
これらの観測を利用して、TTA法をより信頼性の高いものにする。
i) OOD精度(ラベル付きデータなし)を推定して、TTAがいつ、いつ、そしてそれが痛いかを判断する。
(ii)ラベル情報のないttaモデルの校正
(iii)ラベル付き検証データなしでttaのハイパーパラメータを確実に決定する。
広範囲な実験により, 各種TTA法を精度よく評価し, 改良と劣化の両面から評価できることを示した。
さらに,本提案手法は,OOD精度と校正誤差の両面から,地中トラスラベルへのアクセスを想定した非教師なしキャリブレーションとハイパーパラメータチューニングを両立させる手法である。
関連論文リスト
- Persistent Test-time Adaptation in Episodic Testing Scenarios [13.514033978964308]
現在のテスト時間適応アプローチは、継続的に変化する環境に適応することを目的としています。
これらの手法の適応性が長期にわたって維持されているかどうかは不明である。
本研究は, エピソードTTAと呼ばれる新しいテスト環境を提案する。
論文 参考訳(メタデータ) (2023-11-30T02:24:44Z) - Diverse Data Augmentation with Diffusions for Effective Test-time Prompt
Tuning [73.75282761503581]
DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。
DiffTPTがゼロショット精度を平均5.13%向上することを示す。
論文 参考訳(メタデータ) (2023-08-11T09:36:31Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳(メタデータ) (2023-06-06T09:35:29Z) - Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。
提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
論文 参考訳(メタデータ) (2023-04-25T12:29:22Z) - Towards Stable Test-Time Adaptation in Dynamic Wild World [60.98073673220025]
テスト時間適応(TTA)は、与えられたモデルをテストサンプルに適応させることで、トレーニングとテストデータの分散シフトに取り組むのに有効であることが示されている。
TTAのオンラインモデル更新は不安定であり、これはしばしば既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
論文 参考訳(メタデータ) (2023-02-24T02:03:41Z) - DELTA: degradation-free fully test-time adaptation [59.74287982885375]
テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。
まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。
第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
論文 参考訳(メタデータ) (2023-01-30T15:54:00Z) - Uncovering Adversarial Risks of Test-Time Adaptation [41.19226800089764]
テスト時間適応(TTA)は、分散シフトに対処するための有望な解決策として提案されている。
我々は、良性サンプルの予測が同一バッチ内の悪意のあるサンプルに影響される可能性があるという知見に基づいて、TTAの新たなセキュリティ脆弱性を明らかにする。
テストバッチに少数の悪意のあるデータを注入する分散侵入攻撃(DIA)を提案する。
論文 参考訳(メタデータ) (2023-01-29T22:58:05Z) - Robust Continual Test-time Adaptation: Instance-aware BN and
Prediction-balanced Memory [58.72445309519892]
テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。
a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
論文 参考訳(メタデータ) (2022-08-10T03:05:46Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。