論文の概要: Generalized Venn and Venn-Abers Calibration with Applications in Conformal Prediction
- arxiv url: http://arxiv.org/abs/2502.05676v1
- Date: Sat, 08 Feb 2025 19:52:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 18:57:50.228271
- Title: Generalized Venn and Venn-Abers Calibration with Applications in Conformal Prediction
- Title(参考訳): 一般化VennとVenn-Abersの校正と等角予測への応用
- Authors: Lars van der Laan, Ahmed Alaa,
- Abstract要約: 本稿では,Venn and Conditional-Abersキャリブレーションのための統一フレームワークを提案する。
サブポピュレーションにおける有限サンプル校正の新しい手法であるVenn multicalibrationを提案する。
分布自由条件のキャリブレーションによるヒストグラム・バイニングとアイソトニック・キャリブレーションの保証を一般の損失に拡張する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensuring model calibration is critical for reliable predictions, yet popular distribution-free methods, such as histogram binning and isotonic regression, provide only asymptotic guarantees. We introduce a unified framework for Venn and Venn-Abers calibration, generalizing Vovk's binary classification approach to arbitrary prediction tasks and loss functions. Venn calibration leverages binning calibrators to construct prediction sets that contain at least one marginally perfectly calibrated point prediction in finite samples, capturing epistemic uncertainty in the calibration process. The width of these sets shrinks asymptotically to zero, converging to a conditionally calibrated point prediction. Furthermore, we propose Venn multicalibration, a novel methodology for finite-sample calibration across subpopulations. For quantile loss, group-conditional and multicalibrated conformal prediction arise as special cases of Venn multicalibration, and Venn calibration produces novel conformal prediction intervals that achieve quantile-conditional coverage. As a separate contribution, we extend distribution-free conditional calibration guarantees of histogram binning and isotonic calibration to general losses.
- Abstract(参考訳): モデルキャリブレーションの確立は信頼性の高い予測には不可欠であるが、ヒストグラム・バイニングや等調回帰のような分布自由な手法は漸近的保証のみを提供する。
本稿では、VennとVenn-Abersの校正のための統一的なフレームワークを導入し、Vovkのバイナリ分類アプローチを任意の予測タスクと損失関数に一般化する。
ベンキャリブレーション(Venn calibration)は、ビンニングキャリブレータを利用して、有限サンプルにおいて少なくとも1つの辺縁的に完全にキャリブレーションされた点予測を含む予測セットを構築し、キャリブレーション過程におけるエピステミック不確かさを捉える。
これらの集合の幅は漸近的にゼロに縮まり、条件付き校正点予測に収束する。
さらに,サブポピュレーション間の有限サンプル校正手法であるVenn multicalibrationを提案する。
量子損失の場合、Venn多重校正の特別な場合として、グループ条件と多重校正された共形予測が生まれ、Vennキャリブレーションは量子条件のカバレッジを達成するための新しい共形予測区間を生成する。
そこで本研究では,分布自由条件のキャリブレーションによるヒストグラム・バイニングとアイソトニック・キャリブレーションの保証を,一般の損失に拡張する。
関連論文リスト
- Calibration Bands for Mean Estimates within the Exponential Dispersion Family [0.0]
自動校正のためのテストは、最近になって文献でのみ検討されている。
得られたキャリブレーションバンドは、キャリブレーションと自動キャリブレーションのための様々なテストを構築することができることを示す。
論文 参考訳(メタデータ) (2025-03-24T17:09:19Z) - Epistemic Uncertainty in Conformal Scores: A Unified Approach [2.449909275410288]
等角予測法は、分布のない保証を持つ予測帯域を生成するが、不確実性を明示的に捉えることはできない。
モデルに依存しないアプローチである $texttEPICSCORE$ を導入する。
$texttEPICSCORE$は、限られたデータを持つ領域の予測間隔を適応的に拡張し、データが豊富であるコンパクト間隔を維持します。
論文 参考訳(メタデータ) (2025-02-10T19:42:54Z) - Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。
本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-01-17T12:01:56Z) - Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
生成モデルは出力に対する厳密な統計的保証を欠いている。
厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。
このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
論文 参考訳(メタデータ) (2024-10-02T15:26:52Z) - Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。
我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
論文 参考訳(メタデータ) (2024-07-01T20:44:48Z) - Orthogonal Causal Calibration [55.28164682911196]
我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。
以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
論文 参考訳(メタデータ) (2024-06-04T03:35:25Z) - Self-Calibrating Conformal Prediction [16.606421967131524]
本稿では,これらの予測に対して有限サンプル妥当性条件付き予測間隔とともに,校正点予測を実現するための自己校正等式予測を提案する。
本手法は,モデルキャリブレーションによりキャリブレーション間隔効率を向上し,特徴条件の妥当性に対して実用的な代替手段を提供する。
論文 参考訳(メタデータ) (2024-02-11T21:12:21Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳(メタデータ) (2023-10-31T06:19:40Z) - Causal isotonic calibration for heterogeneous treatment effects [0.5249805590164901]
異種治療効果の予測因子を校正する新しい非パラメトリック手法である因果等方性キャリブレーションを提案する。
また、データ効率の良いキャリブレーションの変種であるクロスキャリブレーションを導入し、ホールドアウトキャリブレーションセットの必要性を排除した。
論文 参考訳(メタデータ) (2023-02-27T18:07:49Z) - Sharp Calibrated Gaussian Processes [58.94710279601622]
キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。
本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。
我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
論文 参考訳(メタデータ) (2023-02-23T12:17:36Z) - Distribution-Free Finite-Sample Guarantees and Split Conformal
Prediction [0.0]
分割共形予測は、最小分布自由仮定の下で有限サンプル保証を得るための有望な道を表す。
1940年代に開発された分割共形予測と古典的寛容予測との関連性を強調した。
論文 参考訳(メタデータ) (2022-10-26T14:12:24Z) - Parametric and Multivariate Uncertainty Calibration for Regression and
Object Detection [4.630093015127541]
一般的な検出モデルでは,観測誤差と比較して空間的不確かさが過大評価されている。
実験の結果, 簡便な等速回帰補正法は, 良好な校正不確実性を実現するのに十分であることがわかった。
対照的に、後続のプロセスに正規分布が必要な場合、GP-Normal再校正法が最良の結果をもたらす。
論文 参考訳(メタデータ) (2022-07-04T08:00:20Z) - Approximate Conditional Coverage via Neural Model Approximations [0.030458514384586396]
実験的に信頼性の高い近似条件付きカバレッジを得るためのデータ駆動手法を解析する。
我々は、限界範囲のカバレッジ保証を持つ分割型代替案で、実質的な(そして、そうでない)アンダーカバーの可能性を実証する。
論文 参考訳(メタデータ) (2022-05-28T02:59:05Z) - Prediction Sets Adaptive to Unknown Covariate Shift [18.105704797438417]
有限サンプル被覆保証付き予測集合は非形式的であることを示す。
そこで我々は,予測セットを効率的に構築する,新しいフレキシブルな分散フリー手法PredSet-1Stepを提案する。
論文 参考訳(メタデータ) (2022-03-11T17:53:14Z) - Distribution-free uncertainty quantification for classification under
label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。
まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。
これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文 参考訳(メタデータ) (2021-03-04T20:51:03Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳(メタデータ) (2021-02-22T07:22:12Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳(メタデータ) (2020-06-29T21:50:07Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳(メタデータ) (2020-06-23T07:18:05Z) - Individual Calibration with Randomized Forecasting [116.2086707626651]
予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。
我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
論文 参考訳(メタデータ) (2020-06-18T05:53:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。