論文の概要: Reliable Test-Time Adaptation via Agreement-on-the-Line

• arxiv url: http://arxiv.org/abs/2310.04941v1
• Date: Sat, 7 Oct 2023 23:21:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 14:16:18.223866
• Title: Reliable Test-Time Adaptation via Agreement-on-the-Line
• Title（参考訳）: アグリーメント・オン・ザ・ラインによる信頼性の高いテストタイム適応
• Authors: Eungyeup Kim, Mingjie Sun, Aditi Raghunathan, Zico Kolter
• Abstract要約: テスト時間適応(TTA)手法は、ラベルのないデータを用いてモデルを適用することにより、分散シフトに対する堅牢性を改善することを目的としている。 我々は,TTAモデルがライン上のコンセンサス現象を強く示している,注目すべき,驚くべき観察を行う。 これらの観測を利用して、3つの視点でTTA法をより信頼性の高いものにする。
• 参考スコア（独自算出の注目度）: 26.40837283545848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time adaptation (TTA) methods aim to improve robustness to distribution shifts by adapting models using unlabeled data from the shifted test distribution. However, there remain unresolved challenges that undermine the reliability of TTA, which include difficulties in evaluating TTA performance, miscalibration after TTA, and unreliable hyperparameter tuning for adaptation. In this work, we make a notable and surprising observation that TTAed models strongly show the agreement-on-the-line phenomenon (Baek et al., 2022) across a wide range of distribution shifts. We find such linear trends occur consistently in a wide range of models adapted with various hyperparameters, and persist in distributions where the phenomenon fails to hold in vanilla models (i.e., before adaptation). We leverage these observations to make TTA methods more reliable in three perspectives: (i) estimating OOD accuracy (without labeled data) to determine when TTA helps and when it hurts, (ii) calibrating TTAed models without label information, and (iii) reliably determining hyperparameters for TTA without any labeled validation data. Through extensive experiments, we demonstrate that various TTA methods can be precisely evaluated, both in terms of their improvements and degradations. Moreover, our proposed methods on unsupervised calibration and hyperparameters tuning for TTA achieve results close to the ones assuming access to ground-truth labels, in terms of both OOD accuracy and calibration error.
• Abstract（参考訳）: テスト時間適応 (TTA) 法は、シフトしたテスト分布からラベル付きデータを用いてモデルを適用することにより、分散シフトに対するロバスト性を改善することを目的としている。 しかし、TTAの性能評価の困難、TTA後の誤校正、適応のための信頼性の低いハイパーパラメータチューニングなど、TTAの信頼性を損なう未解決の課題が残っている。 本研究は,ttaedモデルが広範囲の分布シフトにまたがる合意・オン・ザ・ライン現象(baek et al., 2022)を強固に示す,注目すべきかつ驚くべき観察を行う。 このような線形傾向は、様々なハイパーパラメータで適応された幅広いモデルで一貫して発生し、その現象がバニラモデル(つまり適応前)で保持されない分布で持続する。 これらの観測を利用して、TTA法をより信頼性の高いものにする。 i) OOD精度(ラベル付きデータなし)を推定して、TTAがいつ、いつ、そしてそれが痛いかを判断する。 (ii)ラベル情報のないttaモデルの校正 (iii)ラベル付き検証データなしでttaのハイパーパラメータを確実に決定する。 広範囲な実験により, 各種TTA法を精度よく評価し, 改良と劣化の両面から評価できることを示した。 さらに,本提案手法は,OOD精度と校正誤差の両面から,地中トラスラベルへのアクセスを想定した非教師なしキャリブレーションとハイパーパラメータチューニングを両立させる手法である。

関連論文リスト

• Drift-Resilient TabPFN: In-Context Learning Temporal Distribution Shifts on Tabular Data [39.40116554523575]
  In-Context Learning with a Prior-Data Fitted Network に基づく新しいアプローチである Drift-Resilient TabPFN を提案する。 先行した合成データセットのベイズ推定を近似することを学ぶ。 精度は0.688から0.744に向上し、OC AUCは0.786から0.832に向上し、キャリブレーションも強化された。
  論文  参考訳（メタデータ） (2024-11-15T23:49:23Z)
• Semi-supervised Regression Analysis with Model Misspecification and High-dimensional Data [8.619243141968886]
  条件付き平均モデルにおける回帰係数を推定するための推論フレームワークを提案する。 提案手法は,正規化推定器を適応度スコア(PS)と結果回帰(OR)モデルの両方に用い,拡張逆確率重み付き(AIPW)法を開発した。 我々の理論的な知見は、広範囲なシミュレーション研究と実世界のデータ応用を通して検証される。
  論文  参考訳（メタデータ） (2024-06-20T00:34:54Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Calibration of Time-Series Forecasting: Detecting and Adapting Context-Driven Distribution Shift [28.73747033245012]
  本稿では,コンテキスト駆動分布シフトの検出と適応のための普遍的キャリブレーション手法を提案する。 レジデンシャルベースCDS検出器(Residual-based CDS detector)またはリコンディショナー(Reconditionor)と呼ばれる新しいCDS検出器は、モデルの脆弱性をCDSに定量化する。 高いリコンディショナースコアは、重度の感受性を示し、したがってモデル適応を必要とする。
  論文  参考訳（メタデータ） (2023-10-23T11:58:01Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• A Data-driven feature selection and machine-learning model benchmark for the prediction of longitudinal dispersion coefficient [29.58577229101903]
  縦方向分散(LD)係数の正確な予測は、関連するシミュレーションにおいて性能の飛躍をもたらすことができる。 本研究では, 蒸留した局所最適値と代表MLモデルとの数値比較により, 大域的最適特徴集合を提案した。 その結果,サポートベクタマシンは他のモデルよりも大幅に性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2021-07-16T09:50:38Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。