論文の概要: Robust Validation: Confident Predictions Even When Distributions Shift
- arxiv url: http://arxiv.org/abs/2008.04267v1
- Date: Mon, 10 Aug 2020 17:09:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 22:37:18.650542
- Title: Robust Validation: Confident Predictions Even When Distributions Shift
- Title(参考訳): robust validation: 分布が変化しても自信のある予測
- Authors: Maxime Cauchois, Suyash Gupta, Alnur Ali and John C. Duchi
- Abstract要約: 本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
- 参考スコア(独自算出の注目度): 24.211408049646153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While the traditional viewpoint in machine learning and statistics assumes
training and testing samples come from the same population, practice belies
this fiction. One strategy---coming from robust statistics and
optimization---is thus to build a model robust to distributional perturbations.
In this paper, we take a different approach to describe procedures for robust
predictive inference, where a model provides uncertainty estimates on its
predictions rather than point predictions. We present a method that produces
prediction sets (almost exactly) giving the right coverage level for any test
distribution in an $f$-divergence ball around the training population. The
method, based on conformal inference, achieves (nearly) valid coverage in
finite samples, under only the condition that the training data be
exchangeable. An essential component of our methodology is to estimate the
amount of expected future data shift and build robustness to it; we develop
estimators and prove their consistency for protection and validity of
uncertainty estimates under shifts. By experimenting on several large-scale
benchmark datasets, including Recht et al.'s CIFAR-v4 and ImageNet-V2 datasets,
we provide complementary empirical results that highlight the importance of
robust predictive validity.
- Abstract(参考訳): 機械学習と統計学の伝統的な視点では、トレーニングとテストのサンプルは同じ集団から来ていると仮定しているが、実践はこのフィクションを裏付けている。
強固な統計と最適化からの1つの戦略は、分散摂動にロバストなモデルを構築することである。
本稿では,モデルが点予測ではなく不確実性推定を提供するような,ロバストな予測推論の手順を記述するために,異なる手法を採用する。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
共形推論に基づくこの方法は、トレーニングデータが交換可能であるという条件だけで、有限サンプルにおいて(ほぼ)有効なカバレッジを達成する。
提案手法の重要な構成要素は,将来予想されるデータシフトの量を推定し,それに対する堅牢性を構築することである。
Recht et al. の CIFAR-v4 や ImageNet-V2 などの大規模ベンチマークデータセットを実験することにより、堅牢な予測妥当性の重要性を強調する補完的な実験結果を提供する。
関連論文リスト
- Boosted Control Functions [10.503777692702952]
本研究の目的は,因果効果推定と予測タスクのギャップを埋めることである。
我々は,機械学習の分布場と同時方程式モデル,およびエコノメティクスの制御関数との新たな接続を確立する。
このフレームワーク内では、予測モデルに対する不変性の強い概念を提案し、それを既存の(ウィーカー)バージョンと比較する。
論文 参考訳(メタデータ) (2023-10-09T15:43:46Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳(メタデータ) (2022-10-24T17:53:20Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Evaluation of Machine Learning Techniques for Forecast Uncertainty
Quantification [0.13999481573773068]
アンサンブル予測は、これまでのところ、関連する予測を生成するための最も成功したアプローチであり、その不確実性を見積もっている。
アンサンブル予測の主な制限は、高い計算コストと異なる不確実性の源を捕捉し定量化することの難しさである。
本研究は,1つの決定論的予測のみを入力として,システムの修正状態と状態不確かさを予測するために訓練されたANNの性能を評価するための概念モデル実験である。
論文 参考訳(メタデータ) (2021-11-29T16:52:17Z) - Learning Prediction Intervals for Model Performance [1.433758865948252]
モデル性能の予測間隔を計算する手法を提案する。
我々は,幅広いドリフト条件におけるアプローチを評価し,競合ベースラインよりも大幅に改善することを示す。
論文 参考訳(メタデータ) (2020-12-15T21:32:03Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Balance-Subsampled Stable Prediction [55.13512328954456]
本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。
設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。
合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
論文 参考訳(メタデータ) (2020-06-08T07:01:38Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。