論文の概要: Confidence Interval Estimation of Predictive Performance in the Context of AutoML
- arxiv url: http://arxiv.org/abs/2406.08099v1
- Date: Wed, 12 Jun 2024 11:26:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 17:15:13.630732
- Title: Confidence Interval Estimation of Predictive Performance in the Context of AutoML
- Title（参考訳）: AutoMLにおける予測性能の信頼区間推定
- Authors: Konstantinos Paraschakis, Andrea Castellani, Giorgos Borboudakis, Ioannis Tsamardinos,
- Abstract要約: AutoML設定では、信頼区間(CI)の推定は、推定のバイアスのため困難である。
本研究では,CI推定における9つの最先端手法と変種の比較評価を行う。
評価は、すべてではないにせよ、ほとんどのメソッドをカバーし、以前の作業を不均衡で小さなサンプルタスクにまで拡張した最初のものである。
- 参考スコア（独自算出の注目度）: 1.8874301050354765
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Any supervised machine learning analysis is required to provide an estimate of the out-of-sample predictive performance. However, it is imperative to also provide a quantification of the uncertainty of this performance in the form of a confidence or credible interval (CI) and not just a point estimate. In an AutoML setting, estimating the CI is challenging due to the ``winner's curse", i.e., the bias of estimation due to cross-validating several machine learning pipelines and selecting the winning one. In this work, we perform a comparative evaluation of 9 state-of-the-art methods and variants in CI estimation in an AutoML setting on a corpus of real and simulated datasets. The methods are compared in terms of inclusion percentage (does a 95\% CI include the true performance at least 95\% of the time), CI tightness (tighter CIs are preferable as being more informative), and execution time. The evaluation is the first one that covers most, if not all, such methods and extends previous work to imbalanced and small-sample tasks. In addition, we present a variant, called BBC-F, of an existing method (the Bootstrap Bias Correction, or BBC) that maintains the statistical properties of the BBC but is more computationally efficient. The results support that BBC-F and BBC dominate the other methods in all metrics measured.
- Abstract（参考訳）: 教師付き機械学習分析は、アウトオブサンプル予測性能の見積もりを提供するために必要である。
しかし、信頼区間や信頼区間(CI)という形で、単に点推定だけでなく、この性能の不確かさの定量化も必須である。
AutoML設定では、CIの推定は‘勝者の呪い’、すなわち、複数の機械学習パイプラインをクロスバリデーションし、勝利したパイプラインを選択することによる推定のバイアスによって難しい。
本研究では、実データとシミュレーションデータセットのコーパス上のAutoML設定において、CI推定における9つの最先端手法と変種の比較評価を行う。
これらの手法は、包含率(95%のCIには、少なくとも95%の真のパフォーマンスが含まれている)、CIの厳密さ(より情報のあるCIの方が望ましい)、実行時間という観点で比較される。
評価は、すべてではないにせよ、ほとんどのメソッドをカバーし、以前の作業を不均衡で小さなサンプルタスクにまで拡張した最初のものである。
さらに,既存の手法(Bootstrap Bias Correction, BBC)の変種であるBBC-Fを提案する。
結果は、BBC-FとBBCが測定されたすべての指標において他の方法を支配していることを裏付けている。
関連論文リスト
- Improving Bias Correction Standards by Quantifying its Effects on Treatment Outcomes [54.18828236350544]
Propensity score matching (PSM) は、分析のために同等の人口を選択することで選択バイアスに対処する。
異なるマッチング手法は、すべての検証基準を満たす場合でも、同じタスクに対する平均処理効果(ATE)を著しく異なるものにすることができる。
この問題に対処するため,新しい指標A2Aを導入し,有効試合数を削減した。
論文 参考訳（メタデータ） (2024-07-20T12:42:24Z) - MedBN: Robust Test-Time Adaptation against Malicious Test Samples [11.397666167665484]
テスト時間適応(TTA)は、トレーニングデータとテストデータの間の予期せぬ分散シフトによるパフォーマンス劣化に対処する、有望なソリューションとして登場した。
以前の研究では、テストバッチのごく一部が不正に操作された場合でも、TTA内のセキュリティ脆弱性が明らかになった。
テスト時間推論におけるバッチ正規化層内の統計量推定に中央値のロバスト性を利用する中央値バッチ正規化(MedBN)を提案する。
論文 参考訳（メタデータ） (2024-03-28T11:33:02Z) - TeLeS: Temporal Lexeme Similarity Score to Estimate Confidence in
End-to-End ASR [1.8477401359673709]
クラス確率に基づく信頼スコアは、自信過剰なASR予測の品質を正確に表すものではない。
信頼度推定モデル(CEM)を訓練するためのTeLeS(Temporal-Lexeme similarity)の信頼性スコアを提案する。
我々は、ヒンディー語、タミル語、カナダ語という3つの言語で訓練されたASRモデルを用いて、様々なトレーニングデータサイズで実験を行う。
論文 参考訳（メタデータ） (2024-01-06T16:29:13Z) - UQ-ARMED: Uncertainty quantification of adversarially-regularized mixed
effects deep learning for clustered non-iid data [0.6719751155411076]
この研究は、モデル適合性、固定効果共分散係数、予測信頼度について、容易に解釈可能な統計メトリクスを作成する能力を示す。
本実験では,UQ法が有益であるだけでなく,いくつかのUQ法が元のARMED法の性能を維持している。
論文 参考訳（メタデータ） (2022-11-29T02:50:48Z) - Out-of-Distribution Detection with Hilbert-Schmidt Independence
Optimization [114.43504951058796]
異常検出タスクはAIの安全性において重要な役割を担っている。
ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。
我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
論文 参考訳（メタデータ） (2022-09-26T15:59:55Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Assessment of Treatment Effect Estimators for Heavy-Tailed Data [70.72363097550483]
ランダム化制御試験(RCT)における治療効果の客観的評価における中心的な障害は、その性能をテストするための基礎的真理(または検証セット)の欠如である。
この課題に対処するための新しいクロスバリデーションのような方法論を提供する。
本手法は,Amazonサプライチェーンに実装された709RCTに対して評価を行った。
論文 参考訳（メタデータ） (2021-12-14T17:53:01Z) - Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文 参考訳（メタデータ） (2020-08-10T17:09:16Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-04-21T23:09:55Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。