論文の概要: Conformal Prediction Assessment: A Framework for Conditional Coverage Evaluation and Selection
- arxiv url: http://arxiv.org/abs/2603.27189v1
- Date: Sat, 28 Mar 2026 08:30:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:44.839138
- Title: Conformal Prediction Assessment: A Framework for Conditional Coverage Evaluation and Selection
- Title(参考訳): コンフォーマル予測評価:条件付きカバレッジ評価と選択のためのフレームワーク
- Authors: Zheng Zhou, Xiangfei Zhang, Chongguang Tao, Yuhong Yang,
- Abstract要約: コンフォーマル予測アセスメント(CPA)は、条件付きカバレッジを教師付き学習タスクとして再編成するフレームワークである。
条件付き妥当性指数(CVI)は信頼性を安全性(発見リスク)と効率(発見コスト)に分解する
- 参考スコア(独自算出の注目度): 8.778189690708578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conformal prediction provides rigorous distribution-free finite-sample guarantees for marginal coverage under the assumption of exchangeability, but may exhibit systematic undercoverage or overcoverage for specific subpopulations. Assessing conditional validity is challenging, as standard stratification methods suffer from the curse of dimensionality. We propose Conformal Prediction Assessment (CPA), a framework that reframes the evaluation of conditional coverage as a supervised learning task by training a reliability estimator that predicts instance-level coverage probabilities. Building on this estimator, we introduce the Conditional Validity Index (CVI), which decomposes reliability into safety (undercoverage risk) and efficiency (overcoverage cost). We establish convergence rates for the reliability estimator and prove the consistency of CVI-based model selection. Extensive experiments on synthetic and real-world datasets demonstrate that CPA effectively diagnoses local failure modes and that CC-Select, our CVI-based model selection algorithm, consistently identifies predictors with superior conditional coverage performance.
- Abstract(参考訳): コンフォーマル予測は、交換可能性の仮定の下で、厳密な分布のない有限サンプル保証を提供するが、特定のサブ集団に対する体系的な隠蔽またはオーバーカバーを示す可能性がある。
標準成層法は次元の呪いに苦しむため、条件付き妥当性を評価することは困難である。
本稿では,コンフォーマル・アセスメント・アセスメント(CPA)を提案する。コンフォーマル・アセスメント・アセスメント(CPA)は,インスタンスレベルのカバレッジ確率を予測する信頼性推定器をトレーニングすることにより,教師付き学習タスクとしての条件付きカバレッジの評価を再構築するフレームワークである。
この推定器上に構築された条件付き妥当性指数(CVI)は,信頼性を安全性(発見リスク)と効率(発見コスト)に分解する。
信頼性推定器の収束率を確立し,CVIモデル選択の整合性を証明する。
CPAが局所的な障害モードを効果的に診断し、CVIベースのモデル選択アルゴリズムであるCC-Selectが、条件付きカバレッジ性能の優れた予測器を一貫して識別することを示した。
関連論文リスト
- Conditional Coverage Diagnostics for Conformal Prediction [47.93989136542648]
条件付きカバレッジ推定が分類問題であることを示す。
得られたメトリクスの族をターゲットカバレッジ(ERT)の過剰なリスクと呼びます。
ERTのオープンソースパッケージと、以前の条件付きカバレッジメトリクスをリリースしています。
論文 参考訳(メタデータ) (2025-12-12T18:47:39Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳(メタデータ) (2025-06-25T07:04:49Z) - SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。
我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。
我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
論文 参考訳(メタデータ) (2025-04-19T03:01:45Z) - Rectifying Conformity Scores for Better Conditional Coverage [75.73184036344908]
本稿では,分割共形予測フレームワーク内で信頼セットを生成する新しい手法を提案する。
本手法は,任意の適合度スコアのトレーニング可能な変換を行い,条件付き範囲を正確に確保しつつ,条件付き範囲を改善する。
論文 参考訳(メタデータ) (2025-02-22T19:54:14Z) - Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。
我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
論文 参考訳(メタデータ) (2024-07-01T20:44:48Z) - The Penalized Inverse Probability Measure for Conformal Classification [0.5172964916120902]
この研究は、Pinalized Inverse Probability(PIP)の非整合性スコアと、その正規化バージョンRePIPを導入し、効率性と情報性の両方を共同で最適化する。
この研究は、PIPに基づく共形分類器が、他の非整合性対策と比較して正確に望ましい振る舞いを示し、情報性と効率のバランスを保っていることを示す。
論文 参考訳(メタデータ) (2024-06-13T07:37:16Z) - Conformal Prediction with Learned Features [22.733758606168873]
本稿では,予測セットの条件付き妥当性を向上させるために,PLCP(Partition Learning Conformal Prediction)を提案する。
我々は,市販の機械学習モデルを用いて,勾配の交互化によるPLCPを効率的に実装する。
4つの実世界および合成データセットに対する実験結果から,PLCPの優れた性能を示した。
論文 参考訳(メタデータ) (2024-04-26T15:43:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。