論文の概要: Reliable Statistical Guarantees for Conformal Predictors with Small Datasets

• arxiv url: http://arxiv.org/abs/2512.04566v1
• Date: Thu, 04 Dec 2025 08:29:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:46.071532
• Title: Reliable Statistical Guarantees for Conformal Predictors with Small Datasets
• Title（参考訳）: 小型データを用いた等角予測器の信頼性保証
• Authors: Miguel Sánchez-Domínguez, Lucas Lacasa, Javier de Vicente, Gonzalo Rubio, Eusebio Valero,
• Abstract要約: サーロゲートモデルは、科学と工学において、任意の複雑な入出力問題を近似することができる。 データに依存しない不確実性定量化のための標準的なアプローチは、共形予測(CP)を用いることである。 本稿では,1つの共形予測器のカバレッジに対して確率的情報を提供する新しい統計保証を提案する。
• 参考スコア（独自算出の注目度）: 3.062618143970653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Surrogate models (including deep neural networks and other machine learning algorithms in supervised learning) are capable of approximating arbitrarily complex, high-dimensional input-output problems in science and engineering, but require a thorough data-agnostic uncertainty quantification analysis before these can be deployed for any safety-critical application. The standard approach for data-agnostic uncertainty quantification is to use conformal prediction (CP), a well-established framework to build uncertainty models with proven statistical guarantees that do not assume any shape for the error distribution of the surrogate model. However, since the classic statistical guarantee offered by CP is given in terms of bounds for the marginal coverage, for small calibration set sizes (which are frequent in realistic surrogate modelling that aims to quantify error at different regions), the potentially strong dispersion of the coverage distribution around its average negatively impacts the reliability of the uncertainty model, often obtaining coverages below the expected value, resulting in a less applicable framework. After providing a gentle presentation of uncertainty quantification for surrogate models for machine learning practitioners, in this paper we bridge the gap by proposing a new statistical guarantee that offers probabilistic information for the coverage of a single conformal predictor. We show that the proposed framework converges to the standard solution offered by CP for large calibration set sizes and, unlike the classic guarantee, still offers reliable information about the coverage of a conformal predictor for small data sizes. We illustrate and validate the methodology in a suite of examples, and implement an open access software solution that can be used alongside common conformal prediction libraries to obtain uncertainty models that fulfil the new guarantee.
• Abstract（参考訳）: サーロゲートモデル(ディープニューラルネットワークやその他の教師あり学習における機械学習アルゴリズムを含む)は、科学と工学において任意の複雑な高次元入力出力問題を近似することができるが、安全クリティカルなアプリケーションにデプロイする前には、データに依存しない不確実性定量化分析が必要である。 データに依存しない不確実性定量化の標準的なアプローチは、サロゲートモデルの誤差分布の形状を仮定しない、証明された統計的保証を持つ不確実性モデルを構築するための、よく確立されたフレームワークである共形予測(CP)を使用することである。 しかし、CPが提供した古典的な統計的保証は、小さなキャリブレーションセットサイズ(異なる領域での誤差の定量化を目的とした現実的なサロゲートモデリングにおいて頻繁に発生する)の限界範囲の範囲で与えられるため、その平均付近のカバレッジ分布の潜在的に強い分散は、不確実性モデルの信頼性に悪影響を及ぼし、しばしば期待値より低い範囲のカバレッジを得る。 本稿では,機械学習実践者を対象としたサロゲートモデルの不確実性定量化を緩やかに提示した後,単一共形予測器のカバレッジに関する確率的情報を提供する新しい統計的保証を提案し,そのギャップを埋める。 提案手法は,大規模キャリブレーションセットサイズに対してCPが提案する標準解に収束し,従来の保証とは異なり,小型データサイズに対する共形予測器のカバレッジについて信頼性の高い情報を提供する。 提案手法を一連の例で説明・検証し、共通共形予測ライブラリと併用して新しい保証を満たす不確実性モデルを得ることができるオープンアクセスソフトウェアソリューションを実装した。

関連論文リスト

• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
  SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。 我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。 我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
  論文  参考訳（メタデータ） (2025-04-19T03:01:45Z)
• Noise-Adaptive Conformal Classification with Marginal Coverage [53.74125453366155]
  本稿では,ランダムラベルノイズによる交換性からの偏差を効率的に処理できる適応型共形推論手法を提案する。 本手法は,合成および実データに対して,その有効性を示す広範囲な数値実験により検証する。
  論文  参考訳（メタデータ） (2025-01-29T23:55:23Z)
• Generative Conformal Prediction with Vectorized Non-Conformity Scores [6.059745771017814]
  コンフォーマル予測は、保証されたカバレッジでモデルに依存しない不確実性定量化を提供する。 ベクトル化された非整合性スコアを持つ生成共形予測フレームワークを提案する。 我々は密度ランクの不確かさ球を用いた適応不確かさ集合を構築する。
  論文  参考訳（メタデータ） (2024-10-17T16:37:03Z)
• Uncertainty Quantification of Surrogate Models using Conformal Prediction [7.445864392018774]
  我々は,モデルに依存しない方法で予測を満足する共形予測フレームワークを定式化し,ほぼゼロの計算コストを必要とする。 本稿では,決定論的モデルに対する統計的に有効なエラーバーを提供するとともに,確率論的モデルのエラーバーに対する保証を作成することを検討する。
  論文  参考訳（メタデータ） (2024-08-19T10:46:19Z)
• Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
  本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。 我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-01T20:44:48Z)
• Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence [2.13382635602206]
  このミスアライメントを測定するための既存のアプローチは、主にキャリブレーションの枠組みの下で開発されている。 本稿では,CCE(Congruence Error)という,学習した予測分布とデータセット内の経験的条件分布との間の距離を,条件付きカーネルの平均埋め込みを用いて推定する手法を提案する。 我々は高次元回帰タスクを行い、CCEが4つの重要な特性を示すことを示す: $textitcorrectness$, $textitmonotonicity$, $textitreliability$, $textitrobustness$。
  論文  参考訳（メタデータ） (2024-05-20T23:30:07Z)
• Predictive Inference with Weak Supervision [3.1925030748447747]
  コンフォメーション予測フレームワークを開発することにより,部分監督と検証のギャップを埋める。 我々は、新しいカバレッジと予測妥当性の概念を導入し、いくつかのアプリケーションシナリオを開発します。 我々は、新しいカバレッジ定義がより厳密で情報的な(しかし有効な)信頼セットを可能にするという仮説を裏付ける。
  論文  参考訳（メタデータ） (2022-01-20T17:26:52Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。