論文の概要: Towards Instance-Wise Calibration: Local Amortized Diagnostics and Reshaping of Conditional Densities (LADaR)
- arxiv url: http://arxiv.org/abs/2205.14568v5
- Date: Sun, 22 Dec 2024 15:18:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 19:42:47.377725
- Title: Towards Instance-Wise Calibration: Local Amortized Diagnostics and Reshaping of Conditional Densities (LADaR)
- Title(参考訳): ケースワイズ校正に向けて:局所的アモータイズ診断と条件密度(LADaR)の再構成
- Authors: Biprateep Dey, David Zhao, Brett H. Andrews, Jeffrey A. Newman, Rafael Izbicki, Ann B. Lee,
- Abstract要約: 本稿では,LADaR(Local Amortized Diagnostics and Reshaping of Conditional Densities)フレームワークを紹介する。
これには、解釈可能な局所キャリブレーション診断を生成する、textttCal-PIT$と呼ばれるアルゴリズムが含まれている。
我々の主な科学応用は、画像データから得られる銀河距離の条件密度推定である。
- 参考スコア(独自算出の注目度): 3.314305548809844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is a growing interest in conditional density estimation and generative modelling of a target $y$ given complex inputs $\mathbf{x}$. However, off-the-shelf methods often lack instance-wise calibration -- that is, for individual inputs $\mathbf{x}$, the individual estimated probabilities can be very different from the true probabilities, even when the estimates are reasonable when averaged over the entire population. This paper introduces the LADaR (Local Amortized Diagnostics and Reshaping of Conditional Densities) framework and proposes an algorithm called $\texttt{Cal-PIT}$ that produces interpretable local calibration diagnostics and includes a mechanism to recalibrate the initial model. Our $\texttt{Cal-PIT}$ algorithm learns a single local probability-probability map from calibration data to assess and quantify where corrections are needed across the feature space. When necessary, it reshapes the initial distribution into an estimate with approximate instance-wise calibration. We illustrate the LADaR framework by applying $\texttt{Cal-PIT}$ to synthetic examples, including probabilistic forecasting with sequences of images as inputs, akin to predicting the wind speed of tropical cyclones from satellite imagery. Our main science application is conditional density estimation of galaxy distances given imaging data (so-called photometric redshift estimation). On a benchmark photometric redshift data challenge, $\texttt{Cal-PIT}$ achieves better conditional density estimation (as measured by the conditional density estimation loss) than all 11 other literature methods tested. This demonstrates its potential for meeting the stringent photometric redshift requirements for next generation weak gravitational lensing analyses.
- Abstract(参考訳): 条件密度の推定と生成的モデリングには、与えられた複素入力の$y$$$\mathbf{x}$に対する関心が高まっている。
しかし、オフ・ザ・シェルフ法はインスタンスのキャリブレーションを欠くことが多く、例えば個々の入力に対して$\mathbf{x}$の場合、推定確率は個体全体の平均値が妥当である場合でも、真の確率とは大きく異なる。
本稿では,LADaR(Local Amortized Diagnostics and Reshaping of Conditional Densities)フレームワークを導入し,解釈可能な局所校正診断を生成するアルゴリズムである$\texttt{Cal-PIT}$を提案する。
我々の$\texttt{Cal-PIT}$アルゴリズムは、キャリブレーションデータから単一の局所確率確率マップを学習し、特徴空間のどこに修正が必要なのかを評価し、定量化する。
必要であれば、初期分布を近似的なインスタンスワイドキャリブレーションで推定する。
合成例に$\texttt{Cal-PIT}$を適用し,衛星画像から熱帯性サイクロンの風速を予測するのと同様に,画像列を入力として確率的予測を行う。
我々の主な科学応用は、画像データ(いわゆる光度赤方偏移推定)から得られる銀河距離の条件密度推定である。
ベンチマークのレッドシフトデータチャレンジでは、$\texttt{Cal-PIT}$は、テストされた他の11の文献手法よりもより良い条件密度推定(条件密度推定損失によって測定される)を達成する。
このことは、次世代の弱い重力レンズ解析のための光度赤方偏移要求を満たす可能性を示している。
関連論文リスト
- Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳(メタデータ) (2024-11-04T14:29:02Z) - Variance Reduction for the Independent Metropolis Sampler [11.074080383657453]
我々は、$pi$がKL分散の下で別の密度$q$に十分近い場合、$pi$からサンプルを得る独立したサンプリング器は、$pi$からサンプリングするi.d.よりも小さな分散を達成することを証明した。
提案手法は,KLの目標との偏差が低減されるように,提案密度に適応する適応型独立メトロポリスアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-06-25T16:38:53Z) - Orthogonal Causal Calibration [55.28164682911196]
我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。
以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
論文 参考訳(メタデータ) (2024-06-04T03:35:25Z) - Nearest Neighbor Sampling for Covariate Shift Adaptation [7.940293148084844]
重みを推定しない新しい共変量シフト適応法を提案する。
基本的な考え方は、ソースデータセットの$k$-nearestの隣人によってラベル付けされたラベル付けされていないターゲットデータを直接扱うことだ。
実験の結果, 走行時間を大幅に短縮できることがわかった。
論文 参考訳(メタデータ) (2023-12-15T17:28:09Z) - SPD-DDPM: Denoising Diffusion Probabilistic Models in the Symmetric
Positive Definite Space [47.65912121120524]
本研究では,大規模データを扱う新しい生成モデルであるSPD-DDPMを提案する。
我々のモデルは、$y$を与えることなく、無条件で柔軟に$p(X)$を見積もることができる。
おもちゃのデータと実際のタクシーデータによる実験結果から、我々のモデルは無条件と無条件の両方のデータ分布に効果的に適合することが示された。
論文 参考訳(メタデータ) (2023-12-13T15:08:54Z) - Proximity-Informed Calibration for Deep Neural Networks [49.330703634912915]
ProCalは、近接性に基づいてサンプル信頼度を調整する理論的保証を持つプラグアンドプレイアルゴリズムである。
ProCalは、近接バイアスに対処し、バランスの取れた、長い、分布シフトの設定の校正を改善するのに有効であることを示す。
論文 参考訳(メタデータ) (2023-06-07T16:40:51Z) - Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target [56.99669411766284]
自律的なシステムがタスクを実行する場合、ユーザの目標を達成する確率のキャリブレーションされた見積もりを維持する必要がある。
本稿では,ユーザの目標が目標間隔として指定される設定について検討する。
我々は、共形予測を反転させて確率推定を計算する。
論文 参考訳(メタデータ) (2022-11-29T18:41:20Z) - A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。
ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。
提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
論文 参考訳(メタデータ) (2022-10-13T15:11:11Z) - CPnP: Consistent Pose Estimator for Perspective-n-Point Problem with Bias Elimination [10.099598169569383]
バイアス除去を用いた一貫した解法emphCを提案する。
閉形式最小二乗解が得られた部分トラクションバイアスを解析する。
合成データと実画像の両方でテストしたところ,提案した推定器は,濃密な視覚的特徴を持つ画像に対して,よく知られた推定器よりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-09-13T09:00:58Z) - Statistical Hypothesis Testing Based on Machine Learning: Large
Deviations Analysis [15.605887551756933]
機械学習(ML)分類手法の性能、特に誤差確率がゼロに収束する速度について検討する。
例えば $sim expleft(-n,I + o(n) right) のように指数関数的に消滅する誤差確率を示すMLの数学的条件を提供する。
言い換えれば、分類誤差確率はゼロに収束し、その速度はトレーニング用に利用可能なデータセットの一部で計算できる。
論文 参考訳(メタデータ) (2022-07-22T08:30:10Z) - (Nearly) Optimal Private Linear Regression via Adaptive Clipping [22.639650869444395]
固定されたガウス型分布から各データ点をサンプリングする微分プライベート線形回帰問題について検討する。
本稿では,各イテレーションの点を置換せずにサンプリングする1パスのミニバッチ勾配勾配法(DP-AMBSSGD)を提案し,解析する。
論文 参考訳(メタデータ) (2022-07-11T08:04:46Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳(メタデータ) (2022-03-03T16:58:54Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳(メタデータ) (2021-11-15T09:08:27Z) - PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。
我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。
提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
論文 参考訳(メタデータ) (2021-09-28T17:56:41Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳(メタデータ) (2021-06-07T17:44:49Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳(メタデータ) (2021-03-23T17:48:56Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳(メタデータ) (2021-02-22T07:02:37Z) - Uncertainty Inspired RGB-D Saliency Detection [70.50583438784571]
本稿では,データラベリングプロセスから学習することで,RGB-D値検出の不確実性を利用した最初のフレームワークを提案する。
そこで本研究では,確率的RGB-Dサリエンシ検出を実現するために,サリエンシデータラベリングプロセスにインスパイアされた生成アーキテクチャを提案する。
6つの挑戦的RGB-Dベンチマークデータセットの結果から,サリエンシマップの分布を学習する際のアプローチの優れた性能が示された。
論文 参考訳(メタデータ) (2020-09-07T13:01:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。