論文の概要: Calibrated Predictive Distributions via Diagnostics for Conditional Coverage

• arxiv url: http://arxiv.org/abs/2205.14568v1
• Date: Sun, 29 May 2022 03:52:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 15:24:16.391921
• Title: Calibrated Predictive Distributions via Diagnostics for Conditional Coverage
• Title（参考訳）: 条件付きカバーの診断による校正予測分布
• Authors: Biprateep Dey and David Zhao and Jeffrey A. Newman and Brett H. Andrews and Rafael Izbicki and Ann B. Lee
• Abstract要約: 再校正と検証が実際に達成可能な目標であることは明らかです。 提案手法は確率積分変換(PIT)のスコアを$mathbfX$に対して回帰するという考え方に依存している。 我々は,本修正した予測帯域を,オラクルバンドと,合成データに対する最先端の予測推論アルゴリズムと比較した。
• 参考スコア（独自算出の注目度）: 4.186140302617659
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty quantification is crucial for assessing the predictive ability of AI algorithms. A large body of work (including normalizing flows and Bayesian neural networks) has been devoted to describing the entire predictive distribution (PD) of a target variable Y given input features $\mathbf{X}$. However, off-the-shelf PDs are usually far from being conditionally calibrated; i.e., the probability of occurrence of an event given input $\mathbf{X}$ can be significantly different from the predicted probability. Most current research on predictive inference (such as conformal prediction) concerns constructing prediction sets, that do not only provide correct uncertainties on average over the entire population (that is, averaging over $\mathbf{X}$), but that are also approximately conditionally calibrated with accurate uncertainties for individual instances. It is often believed that the problem of obtaining and assessing entire conditionally calibrated PDs is too challenging to approach. In this work, we show that recalibration as well as validation are indeed attainable goals in practice. Our proposed method relies on the idea of regressing probability integral transform (PIT) scores against $\mathbf{X}$. This regression gives full diagnostics of conditional coverage across the entire feature space and can be used to recalibrate misspecified PDs. We benchmark our corrected prediction bands against oracle bands and state-of-the-art predictive inference algorithms for synthetic data, including settings with distributional shift and dependent high-dimensional sequence data. Finally, we demonstrate an application to the physical sciences in which we assess and produce calibrated PDs for measurements of galaxy distances using imaging data (i.e., photometric redshifts).
• Abstract（参考訳）: 不確実性定量化は、AIアルゴリズムの予測能力を評価するために重要である。 多くの作業(フローの正規化やベイズニューラルネットワークを含む)は、入力特徴の$\mathbf{X}$を与えられた変数Yの予測分布(PD)全体を記述することに費やされている。 しかし、オフ・ザ・シェルフ PD は通常条件付きキャリブレーションには程遠い。つまり、入力 $\mathbf{X}$ が与えられた事象の発生確率は予測された確率と大きく異なる。 現在の予測推論(コンフォメーション予測など)に関するほとんどの研究は、人口全体(平均で$\mathbf{x}$ 以上)の平均的な不確実性を提供するだけでなく、個々のインスタンスに対する正確な不確実性を備えたおよそ条件付の予測セットを構築することに関するものである。 条件付きPD全体の取得と評価の問題は、アプローチが困難すぎるとしばしば信じられている。 本研究では,再校正と検証が実際に達成可能な目標であることを示す。 提案手法は確率積分変換(PIT)のスコアを$\mathbf{X}$に対して回帰するという考え方に依存する。 この回帰により、特徴空間全体にわたる条件付きカバレッジの完全な診断が可能となり、不特定PDの再分類に使用できる。 我々は,本修正した予測帯域を,分布シフトによる設定や高次元配列データを含む合成データに対する最先端予測アルゴリズムと比較した。 最後に、画像データ(つまり、測光赤方偏移)を用いて、銀河距離の測定のための校正PDを評価・生成する物理科学への応用を実証する。

関連論文リスト

• SPD-DDPM: Denoising Diffusion Probabilistic Models in the Symmetric Positive Definite Space [47.65912121120524]
  本研究では,大規模データを扱う新しい生成モデルであるSPD-DDPMを提案する。 我々のモデルは、$y$を与えることなく、無条件で柔軟に$p(X)$を見積もることができる。 おもちゃのデータと実際のタクシーデータによる実験結果から、我々のモデルは無条件と無条件の両方のデータ分布に効果的に適合することが示された。
  論文  参考訳（メタデータ） (2023-12-13T15:08:54Z)
• Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target [56.99669411766284]
  自律的なシステムがタスクを実行する場合、ユーザの目標を達成する確率のキャリブレーションされた見積もりを維持する必要がある。 本稿では,ユーザの目標が目標間隔として指定される設定について検討する。 我々は、共形予測を反転させて確率推定を計算する。
  論文  参考訳（メタデータ） (2022-11-29T18:41:20Z)
• A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
  ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。 ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。 提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-10-13T15:11:11Z)
• Statistical Hypothesis Testing Based on Machine Learning: Large Deviations Analysis [15.605887551756933]
  機械学習(ML)分類手法の性能、特に誤差確率がゼロに収束する速度について検討する。 例えば $sim expleft(-n,I + o(n) right) のように指数関数的に消滅する誤差確率を示すMLの数学的条件を提供する。 言い換えれば、分類誤差確率はゼロに収束し、その速度はトレーニング用に利用可能なデータセットの一部で計算できる。
  論文  参考訳（メタデータ） (2022-07-22T08:30:10Z)
• (Nearly) Optimal Private Linear Regression via Adaptive Clipping [22.639650869444395]
  固定されたガウス型分布から各データ点をサンプリングする微分プライベート線形回帰問題について検討する。 本稿では,各イテレーションの点を置換せずにサンプリングする1パスのミニバッチ勾配勾配法(DP-AMBSSGD)を提案し,解析する。
  論文  参考訳（メタデータ） (2022-07-11T08:04:46Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Uncertainty Inspired RGB-D Saliency Detection [70.50583438784571]
  本稿では,データラベリングプロセスから学習することで,RGB-D値検出の不確実性を利用した最初のフレームワークを提案する。 そこで本研究では,確率的RGB-Dサリエンシ検出を実現するために,サリエンシデータラベリングプロセスにインスパイアされた生成アーキテクチャを提案する。 6つの挑戦的RGB-Dベンチマークデータセットの結果から,サリエンシマップの分布を学習する際のアプローチの優れた性能が示された。
  論文  参考訳（メタデータ） (2020-09-07T13:01:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。