論文の概要: Conditional Coverage Diagnostics for Conformal Prediction

• arxiv url: http://arxiv.org/abs/2512.11779v1
• Date: Fri, 12 Dec 2025 18:47:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 15:48:11.873479
• Title: Conditional Coverage Diagnostics for Conformal Prediction
• Title（参考訳）: コンフォーマル予測のための条件付き被覆診断
• Authors: Sacha Braun, David Holzmüller, Michael I. Jordan, Francis Bach,
• Abstract要約: 条件付きカバレッジ推定が分類問題であることを示す。 得られたメトリクスの族をターゲットカバレッジ(ERT)の過剰なリスクと呼びます。 ERTのオープンソースパッケージと、以前の条件付きカバレッジメトリクスをリリースしています。
• 参考スコア（独自算出の注目度）: 47.93989136542648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating conditional coverage remains one of the most persistent challenges in assessing the reliability of predictive systems. Although conformal methods can give guarantees on marginal coverage, no method can guarantee to produce sets with correct conditional coverage, leaving practitioners without a clear way to interpret local deviations. To overcome sample-inefficiency and overfitting issues of existing metrics, we cast conditional coverage estimation as a classification problem. Conditional coverage is violated if and only if any classifier can achieve lower risk than the target coverage. Through the choice of a (proper) loss function, the resulting risk difference gives a conservative estimate of natural miscoverage measures such as L1 and L2 distance, and can even separate the effects of over- and under-coverage, and non-constant target coverages. We call the resulting family of metrics excess risk of the target coverage (ERT). We show experimentally that the use of modern classifiers provides much higher statistical power than simple classifiers underlying established metrics like CovGap. Additionally, we use our metric to benchmark different conformal prediction methods. Finally, we release an open-source package for ERT as well as previous conditional coverage metrics. Together, these contributions provide a new lens for understanding, diagnosing, and improving the conditional reliability of predictive systems.
• Abstract（参考訳）: 条件付きカバレッジを評価することは、予測システムの信頼性を評価する上で最も永続的な課題の1つである。 コンフォーマルな手法は限界範囲のカバレッジを保証できるが、正確な条件付きカバレッジでセットを生成することは保証できない。 既存のメトリクスのサンプル効率と過度に適合する問題を克服するため,条件付きカバレッジ推定を分類問題として検討した。 条件付きカバレッジは、任意の分類器がターゲットのカバレッジよりも低いリスクを達成できる場合にのみ違反する。 適切な)損失関数の選択により、結果として生じるリスク差はL1とL2距離のような自然の誤発見対策の保守的な見積もりを与え、オーバーカバーとアンダーカバーと非コンスタントターゲットカバレッジの効果を分離することもできる。 得られたメトリクスのファミリーを、ターゲットカバレッジ(ERT)の過剰なリスクと呼びます。 現代の分類器の使用は、CovGapのような確立されたメトリクスの基礎となる単純な分類器よりもはるかに高い統計的パワーを提供することを示した。 さらに、我々の測定値を用いて、異なる共形予測法をベンチマークする。 最後に、ERTのオープンソースパッケージと、以前の条件付きカバレッジメトリクスをリリースします。 これらの貢献は、予測システムの条件付き信頼性を理解し、診断し、改善するための新しいレンズを提供する。

関連論文リスト

• Adaptive Coverage Policies in Conformal Prediction [46.298122008420414]
  我々は、共形予測法を改善するために、e値とポストホック共形推論の進歩を活用する。 本稿では,ニューラルネットワークをキャリブレーションセット上でのLeft-out手順を用いてトレーニングすることで,適応的カバレッジポリシーを最適化することを提案する。
  論文  参考訳（メタデータ） (2025-10-05T18:37:22Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
  有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。 本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-17T12:01:56Z)
• Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
  我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。 本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
  論文  参考訳（メタデータ） (2023-11-03T21:19:59Z)
• Split Localized Conformal Prediction [20.44976410408424]
  条件分布の局所近似を利用して修正された非整合性スコアを提案する。 修正されたスコアは分割共形法の精神を継承し、完全共形法と比較して単純かつ効率的である。
  論文  参考訳（メタデータ） (2022-06-27T07:53:38Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。