論文の概要: AdapTable: Test-Time Adaptation for Tabular Data via Shift-Aware Uncertainty Calibrator and Label Distribution Handler
- arxiv url: http://arxiv.org/abs/2407.10784v2
- Date: Wed, 21 Aug 2024 05:01:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-22 21:56:12.146685
- Title: AdapTable: Test-Time Adaptation for Tabular Data via Shift-Aware Uncertainty Calibrator and Label Distribution Handler
- Title(参考訳): AdapTable:Shift-Aware Uncertainty Calibrator と Label Distribution Handler によるタブラルデータのテスト時間適応
- Authors: Changhun Kim, Taewon Kim, Seungyeon Woo, June Yong Yang, Eunho Yang,
- Abstract要約: 本稿では,ターゲットラベル分布を推定し,不確実性に基づいて初期確率を調整することによって,出力確率を変化させる新しいテスト時間適応手法であるAdapTableを紹介する。
自然分布シフトと合成汚損の両方の実験により,提案手法の適応効果が示された。
- 参考スコア(独自算出の注目度): 29.395855812763617
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In real-world applications, tabular data often suffer from distribution shifts due to their widespread and abundant nature, leading to erroneous predictions of pre-trained machine learning models. However, addressing such distribution shifts in the tabular domain has been relatively underexplored due to unique challenges such as varying attributes and dataset sizes, as well as the limited representation learning capabilities of deep learning models for tabular data. Particularly, with the recent promising paradigm of test-time adaptation (TTA), where we adapt the off-the-shelf model to the unlabeled target domain during the inference phase without accessing the source domain, we observe that directly adopting commonly used TTA methods from other domains often leads to model collapse. We systematically explore challenges in tabular data test-time adaptation, including skewed entropy, complex latent space decision boundaries, confidence calibration issues with both overconfident and under-confident, and model bias towards source label distributions along with class imbalances. Based on these insights, we introduce AdapTable, a novel tabular test-time adaptation method that directly modifies output probabilities by estimating target label distributions and adjusting initial probabilities based on calibrated uncertainty. Extensive experiments on both natural distribution shifts and synthetic corruptions demonstrate the adaptation efficacy of the proposed method.
- Abstract(参考訳): 現実世界のアプリケーションでは、表データはその広範で豊富な性質のために分散シフトに悩まされることが多く、事前学習された機械学習モデルの誤った予測につながります。
しかし、表領域におけるそのような分布シフトに対処するには、属性やデータセットのサイズなど固有の課題や、表データのディープラーニングモデルの表現学習能力に制限があるため、比較的過小評価されている。
特に、最近のテスト時間適応(TTA)の有望なパラダイムでは、ソースドメインにアクセスすることなく、未ラベルのターゲットドメインにオフ・ザ・シェルフモデルを適用することで、他のドメインから一般的に使用されるTTAメソッドを直接適用することで、しばしばモデル崩壊が生じる。
我々は,スキュートエントロピー,複雑な遅延空間決定境界,過信と過信の両方による信頼性校正問題,およびクラス不均衡を伴うソースラベル分布に対するモデルバイアスなど,表型データテストタイム適応の課題を体系的に検討する。
これらの知見に基づいて、ターゲットラベル分布を推定し、校正された不確実性に基づいて初期確率を調整することによって出力確率を直接調整する新しい表型テスト時間適応手法AdapTableを導入する。
自然分布シフトと合成汚損の双方に関する大規模な実験により,提案手法の適応効果が示された。
関連論文リスト
- Adapting Conformal Prediction to Distribution Shifts Without Labels [16.478151550456804]
コンフォーマル予測(CP)により、機械学習モデルは、保証されたカバレッジ率で予測セットを出力できる。
我々の目標は、テストドメインからのラベルなしデータのみを使用して、CP生成予測セットの品質を改善することです。
これは、未ラベルテストデータに対するベースモデルの不確実性に応じてCPのスコア関数を調整する、ECP と EACP と呼ばれる2つの新しい手法によって達成される。
論文 参考訳(メタデータ) (2024-06-03T15:16:02Z) - Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳(メタデータ) (2024-03-18T05:49:45Z) - Generalized Robust Test-Time Adaptation in Continuous Dynamic Scenarios [18.527640606971563]
テスト時間適応(TTA)は、未ラベルのテストデータストリームのみを使用する推論フェーズにおいて、事前訓練されたモデルに分散をテストする。
本稿では,問題に効果的に対応する汎用ロバストテスト時間適応(GRoTTA)法を提案する。
論文 参考訳(メタデータ) (2023-10-07T07:13:49Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳(メタデータ) (2023-06-06T09:35:29Z) - Rethinking Precision of Pseudo Label: Test-Time Adaptation via
Complementary Learning [10.396596055773012]
本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。
テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。
我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
論文 参考訳(メタデータ) (2023-01-15T03:36:33Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。
変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
論文 参考訳(メタデータ) (2022-01-28T22:03:50Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳(メタデータ) (2021-09-27T01:09:08Z) - Domain Conditional Predictors for Domain Adaptation [3.951376400628575]
本稿では,入力データに依存することに加えて,基礎となるデータ生成分布に対する情報を利用する条件付きモデリング手法を検討する。
このようなアプローチは、現在のドメイン適応手法よりも一般的に適用可能であると論じる。
論文 参考訳(メタデータ) (2021-06-25T22:15:54Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。