論文の概要: Conditionally Calibrated Predictive Distributions by Probability-Probability Map: Application to Galaxy Redshift Estimation and Probabilistic Forecasting

• arxiv url: http://arxiv.org/abs/2205.14568v3
• Date: Fri, 7 Jul 2023 18:34:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 19:36:11.928349
• Title: Conditionally Calibrated Predictive Distributions by Probability-Probability Map: Application to Galaxy Redshift Estimation and Probabilistic Forecasting
• Title（参考訳）: 確率確率マップによる条件校正予測分布:銀河赤方偏移推定と確率予測への応用
• Authors: Biprateep Dey and David Zhao and Jeffrey A. Newman and Brett H. Andrews and Rafael Izbicki and Ann B. Lee
• Abstract要約: 不確実性は、AIアルゴリズムの予測能力を評価するために不可欠である。 PD診断と再校正の両方に対処する textttCal-PIT を提案する。 修正した予測帯域を、オラクルバンドと最先端の予測推論アルゴリズムに対してベンチマークする。
• 参考スコア（独自算出の注目度）: 4.186140302617659
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty quantification is crucial for assessing the predictive ability of AI algorithms. Much research has been devoted to describing the predictive distribution (PD) $F(y|\mathbf{x})$ of a target variable $y \in \mathbb{R}$ given complex input features $\mathbf{x} \in \mathcal{X}$. However, off-the-shelf PDs (from, e.g., normalizing flows and Bayesian neural networks) often lack conditional calibration with the probability of occurrence of an event given input $\mathbf{x}$ being significantly different from the predicted probability. Current calibration methods do not fully assess and enforce conditionally calibrated PDs. Here we propose \texttt{Cal-PIT}, a method that addresses both PD diagnostics and recalibration by learning a single probability-probability map from calibration data. The key idea is to regress probability integral transform scores against $\mathbf{x}$. The estimated regression provides interpretable diagnostics of conditional coverage across the feature space. The same regression function morphs the misspecified PD to a re-calibrated PD for all $\mathbf{x}$. We benchmark our corrected prediction bands (a by-product of corrected PDs) against oracle bands and state-of-the-art predictive inference algorithms for synthetic data. We also provide results for two applications: (i) probabilistic nowcasting given sequences of satellite images, and (ii) conditional density estimation of galaxy distances given imaging data (so-called photometric redshift estimation). Our code is available as a Python package https://github.com/lee-group-cmu/Cal-PIT .
• Abstract（参考訳）: 不確実性定量化は、AIアルゴリズムの予測能力を評価するために重要である。 多くの研究は、予測分布 (PD) $F(y|\mathbf{x})$ を対象変数 $y \in \mathbb{R}$ とする複素入力特徴 $\mathbf{x} \in \mathcal{X}$ を記述することに費やされている。 しかし、オフ・ザ・シェルフPD(例えば、フローの正規化やベイズニューラルネットワーク)は、入力された$\mathbf{x}$が予測される確率と大きく異なる事象が発生する確率で条件キャリブレーションを欠くことが多い。 現在の校正法は、条件付きPDを十分に評価・実施していない。 本稿では、キャリブレーションデータから単一の確率確率マップを学習することにより、PD診断と再校正の両方に対処する手法である「texttt{Cal-PIT}」を提案する。 鍵となる考え方は、確率積分変換のスコアを$\mathbf{x}$に戻すことである。 推定回帰は、機能空間全体の条件付きカバレッジの解釈可能な診断を提供する。 同じ回帰関数は、不特定なPDをすべての$\mathbf{x}$に対して再校正されたPDに変形する。 我々は,修正された予測帯域(修正PDの副産物)を,オラクルバンドおよび合成データの最先端予測アルゴリズムと比較した。 また、2つのアプリケーションに対する結果も提供します。 (i)衛星画像の所定のシーケンスの確率的再キャスティング、及び (ii)撮像データによる銀河距離の条件密度推定(いわゆる測光赤方偏移推定)。 私たちのコードはPythonパッケージ https://github.com/lee-group-cmu/Cal-PIT として利用可能です。

関連論文リスト

• SPD-DDPM: Denoising Diffusion Probabilistic Models in the Symmetric Positive Definite Space [47.65912121120524]
  本研究では,大規模データを扱う新しい生成モデルであるSPD-DDPMを提案する。 我々のモデルは、$y$を与えることなく、無条件で柔軟に$p(X)$を見積もることができる。 おもちゃのデータと実際のタクシーデータによる実験結果から、我々のモデルは無条件と無条件の両方のデータ分布に効果的に適合することが示された。
  論文  参考訳（メタデータ） (2023-12-13T15:08:54Z)
• Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target [56.99669411766284]
  自律的なシステムがタスクを実行する場合、ユーザの目標を達成する確率のキャリブレーションされた見積もりを維持する必要がある。 本稿では,ユーザの目標が目標間隔として指定される設定について検討する。 我々は、共形予測を反転させて確率推定を計算する。
  論文  参考訳（メタデータ） (2022-11-29T18:41:20Z)
• A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
  ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。 ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。 提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-10-13T15:11:11Z)
• Statistical Hypothesis Testing Based on Machine Learning: Large Deviations Analysis [15.605887551756933]
  機械学習(ML)分類手法の性能、特に誤差確率がゼロに収束する速度について検討する。 例えば $sim expleft(-n,I + o(n) right) のように指数関数的に消滅する誤差確率を示すMLの数学的条件を提供する。 言い換えれば、分類誤差確率はゼロに収束し、その速度はトレーニング用に利用可能なデータセットの一部で計算できる。
  論文  参考訳（メタデータ） (2022-07-22T08:30:10Z)
• (Nearly) Optimal Private Linear Regression via Adaptive Clipping [22.639650869444395]
  固定されたガウス型分布から各データ点をサンプリングする微分プライベート線形回帰問題について検討する。 本稿では,各イテレーションの点を置換せずにサンプリングする1パスのミニバッチ勾配勾配法(DP-AMBSSGD)を提案し,解析する。
  論文  参考訳（メタデータ） (2022-07-11T08:04:46Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Uncertainty Inspired RGB-D Saliency Detection [70.50583438784571]
  本稿では,データラベリングプロセスから学習することで,RGB-D値検出の不確実性を利用した最初のフレームワークを提案する。 そこで本研究では,確率的RGB-Dサリエンシ検出を実現するために,サリエンシデータラベリングプロセスにインスパイアされた生成アーキテクチャを提案する。 6つの挑戦的RGB-Dベンチマークデータセットの結果から,サリエンシマップの分布を学習する際のアプローチの優れた性能が示された。
  論文  参考訳（メタデータ） (2020-09-07T13:01:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。