論文の概要: Calibrated Prediction with Covariate Shift via Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2003.00343v2
• Date: Thu, 21 May 2020 03:09:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 20:17:10.775103
• Title: Calibrated Prediction with Covariate Shift via Unsupervised Domain Adaptation
• Title（参考訳）: 教師なし領域適応による共変量シフトによる校正予測
• Authors: Sangdon Park, Osbert Bastani, James Weimer, Insup Lee
• Abstract要約: 不確実性推定は、自律的なエージェントや人間の意思決定者が予測モデルを理解し、活用するのを助ける重要なツールである。 既存のアルゴリズムは確実性を過大評価し、予測モデルに誤った自信を与える可能性がある。
• 参考スコア（独自算出の注目度）: 25.97333838935589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable uncertainty estimates are an important tool for helping autonomous agents or human decision makers understand and leverage predictive models. However, existing approaches to estimating uncertainty largely ignore the possibility of covariate shift--i.e., where the real-world data distribution may differ from the training distribution. As a consequence, existing algorithms can overestimate certainty, possibly yielding a false sense of confidence in the predictive model. We propose an algorithm for calibrating predictions that accounts for the possibility of covariate shift, given labeled examples from the training distribution and unlabeled examples from the real-world distribution. Our algorithm uses importance weighting to correct for the shift from the training to the real-world distribution. However, importance weighting relies on the training and real-world distributions to be sufficiently close. Building on ideas from domain adaptation, we additionally learn a feature map that tries to equalize these two distributions. In an empirical evaluation, we show that our proposed approach outperforms existing approaches to calibrated prediction when there is covariate shift.
• Abstract（参考訳）: 信頼できる不確実性推定は、自律エージェントや人間の意思決定者が予測モデルを理解し、活用するための重要なツールである。 しかしながら、不確かさを推定するための既存のアプローチは、実世界のデータ分布がトレーニング分布と異なる可能性のある共変シフトの可能性を大きく無視している。 その結果、既存のアルゴリズムは確実性を過大評価し、予測モデルに誤った信頼感をもたらす可能性がある。 本稿では,トレーニング分布のラベル付き例と実世界分布のラベルなし例から,共変量シフトの可能性を考慮した予測の校正アルゴリズムを提案する。 本アルゴリズムはトレーニングから実世界の分布へのシフトを補正するために重要度重み付けを用いる。 しかし、重み付けはトレーニングと現実世界の分布が十分近いことに依存している。 ドメイン適応のアイデアに基づいて、これらの2つの分布を等化しようとする特徴写像も学習する。 実験結果から,提案手法は,共変量シフトがある場合のキャリブレーション予測の既存手法よりも優れていることが示された。

関連論文リスト

• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Fairness Transferability Subject to Bounded Distribution Shift [5.62716254065607]
  あるソース分布に「フェア」なアルゴリズム予測器が与えられたとしても、あるバウンダリ内のソースと異なる未知のターゲット分布上では、まだフェアなのか? 本研究では,有界分布シフトを考慮した機械学習予測器の統計的グループフェアネスの伝達可能性について検討する。
  論文  参考訳（メタデータ） (2022-05-31T22:16:44Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• PAC Prediction Sets Under Covariate Shift [40.67733209235852]
  基礎となるデータ分布に変化がある場合、不確実性は重要です。 既存の不確実性定量化アルゴリズムの多くは、そのようなシフトの存在下で崩壊する。 本稿では,この課題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-17T23:28:42Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。