論文の概要: Calibrated Predictive Distributions via Diagnostics for Conditional
Coverage
- arxiv url: http://arxiv.org/abs/2205.14568v1
- Date: Sun, 29 May 2022 03:52:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 15:24:16.391921
- Title: Calibrated Predictive Distributions via Diagnostics for Conditional
Coverage
- Title（参考訳）: 条件付きカバーの診断による校正予測分布
- Authors: Biprateep Dey and David Zhao and Jeffrey A. Newman and Brett H.
Andrews and Rafael Izbicki and Ann B. Lee
- Abstract要約: 再校正と検証が実際に達成可能な目標であることは明らかです。
提案手法は確率積分変換(PIT)のスコアを$mathbfX$に対して回帰するという考え方に依存している。
我々は,本修正した予測帯域を,オラクルバンドと,合成データに対する最先端の予測推論アルゴリズムと比較した。
- 参考スコア（独自算出の注目度）: 4.186140302617659
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty quantification is crucial for assessing the predictive ability of
AI algorithms. A large body of work (including normalizing flows and Bayesian
neural networks) has been devoted to describing the entire predictive
distribution (PD) of a target variable Y given input features $\mathbf{X}$.
However, off-the-shelf PDs are usually far from being conditionally calibrated;
i.e., the probability of occurrence of an event given input $\mathbf{X}$ can be
significantly different from the predicted probability. Most current research
on predictive inference (such as conformal prediction) concerns constructing
prediction sets, that do not only provide correct uncertainties on average over
the entire population (that is, averaging over $\mathbf{X}$), but that are also
approximately conditionally calibrated with accurate uncertainties for
individual instances. It is often believed that the problem of obtaining and
assessing entire conditionally calibrated PDs is too challenging to approach.
In this work, we show that recalibration as well as validation are indeed
attainable goals in practice. Our proposed method relies on the idea of
regressing probability integral transform (PIT) scores against $\mathbf{X}$.
This regression gives full diagnostics of conditional coverage across the
entire feature space and can be used to recalibrate misspecified PDs. We
benchmark our corrected prediction bands against oracle bands and
state-of-the-art predictive inference algorithms for synthetic data, including
settings with distributional shift and dependent high-dimensional sequence
data. Finally, we demonstrate an application to the physical sciences in which
we assess and produce calibrated PDs for measurements of galaxy distances using
imaging data (i.e., photometric redshifts).
- Abstract（参考訳）: 不確実性定量化は、AIアルゴリズムの予測能力を評価するために重要である。
多くの作業(フローの正規化やベイズニューラルネットワークを含む)は、入力特徴の$\mathbf{X}$を与えられた変数Yの予測分布(PD)全体を記述することに費やされている。
しかし、オフ・ザ・シェルフ PD は通常条件付きキャリブレーションには程遠い。つまり、入力 $\mathbf{X}$ が与えられた事象の発生確率は予測された確率と大きく異なる。
現在の予測推論(コンフォメーション予測など)に関するほとんどの研究は、人口全体(平均で$\mathbf{x}$ 以上)の平均的な不確実性を提供するだけでなく、個々のインスタンスに対する正確な不確実性を備えたおよそ条件付の予測セットを構築することに関するものである。
条件付きPD全体の取得と評価の問題は、アプローチが困難すぎるとしばしば信じられている。
本研究では,再校正と検証が実際に達成可能な目標であることを示す。
提案手法は確率積分変換(PIT)のスコアを$\mathbf{X}$に対して回帰するという考え方に依存する。
この回帰により、特徴空間全体にわたる条件付きカバレッジの完全な診断が可能となり、不特定PDの再分類に使用できる。
我々は,本修正した予測帯域を,分布シフトによる設定や高次元配列データを含む合成データに対する最先端予測アルゴリズムと比較した。
最後に、画像データ(つまり、測光赤方偏移)を用いて、銀河距離の測定のための校正PDを評価・生成する物理科学への応用を実証する。
関連論文リスト
- Variance Reduction for the Independent Metropolis Sampler [11.074080383657453]
我々は、$pi$がKL分散の下で別の密度$q$に十分近い場合、$pi$からサンプルを得る独立したサンプリング器は、$pi$からサンプリングするi.d.よりも小さな分散を達成することを証明した。
提案手法は,KLの目標との偏差が低減されるように,提案密度に適応する適応型独立メトロポリスアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-25T16:38:53Z) - Orthogonal Causal Calibration [55.28164682911196]
我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。
我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
論文 参考訳（メタデータ） (2024-06-04T03:35:25Z) - Nearest Neighbor Sampling for Covariate Shift Adaptation [7.940293148084844]
重みを推定しない新しい共変量シフト適応法を提案する。
基本的な考え方は、ソースデータセットの$k$-nearestの隣人によってラベル付けされたラベル付けされていないターゲットデータを直接扱うことだ。
実験の結果, 走行時間を大幅に短縮できることがわかった。
論文 参考訳（メタデータ） (2023-12-15T17:28:09Z) - Proximity-Informed Calibration for Deep Neural Networks [49.330703634912915]
ProCalは、近接性に基づいてサンプル信頼度を調整する理論的保証を持つプラグアンドプレイアルゴリズムである。
ProCalは、近接バイアスに対処し、バランスの取れた、長い、分布シフトの設定の校正を改善するのに有効であることを示す。
論文 参考訳（メタデータ） (2023-06-07T16:40:51Z) - A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。
ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。
提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
論文 参考訳（メタデータ） (2022-10-13T15:11:11Z) - CPnP: Consistent Pose Estimator for Perspective-n-Point Problem with Bias Elimination [10.099598169569383]
バイアス除去を用いた一貫した解法emphCを提案する。
閉形式最小二乗解が得られた部分トラクションバイアスを解析する。
合成データと実画像の両方でテストしたところ,提案した推定器は,濃密な視覚的特徴を持つ画像に対して,よく知られた推定器よりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-09-13T09:00:58Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳（メタデータ） (2022-03-03T16:58:54Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。
我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。
提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
論文 参考訳（メタデータ） (2021-09-28T17:56:41Z) - Variable Skipping for Autoregressive Range Density Estimation [84.60428050170687]
深部自己回帰モデルを用いた距離密度推定を高速化する手法である可変スキップについて述べる。
可変スキップは、10-100$timesの効率向上をもたらすことを示す。
論文 参考訳（メタデータ） (2020-07-10T19:01:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。