論文の概要: Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores

• arxiv url: http://arxiv.org/abs/2501.10139v1
• Date: Fri, 17 Jan 2025 12:01:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 14:01:03.050650
• Title: Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores
• Title（参考訳）: 信頼スコアを用いた条件付き被覆の改善によるコンフォーマル予測セット
• Authors: Jivat Neet Kaur, Michael I. Jordan, Ahmed Alaa,
• Abstract要約: 有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。 本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 52.92618442300405
• License:
• Abstract: Standard conformal prediction offers a marginal guarantee on coverage, but for prediction sets to be truly useful, they should ideally ensure coverage conditional on each test point. Unfortunately, it is impossible to achieve exact, distribution-free conditional coverage in finite samples. In this work, we propose an alternative conformal prediction algorithm that targets coverage where it matters most--in instances where a classifier is overconfident in its incorrect predictions. We start by dissecting miscoverage events in marginally-valid conformal prediction, and show that miscoverage rates vary based on the classifier's confidence and its deviation from the Bayes optimal classifier. Motivated by this insight, we develop a variant of conformal prediction that targets coverage conditional on a reduced set of two variables: the classifier's confidence in a prediction and a nonparametric trust score that measures its deviation from the Bayes classifier. Empirical evaluation on multiple image datasets shows that our method generally improves conditional coverage properties compared to standard conformal prediction, including class-conditional coverage, coverage over arbitrary subgroups, and coverage over demographic groups.
• Abstract（参考訳）: 標準共形予測は、カバレッジに関して限界保証を提供するが、予測セットが本当に有用であるためには、各テストポイントでカバレッジ条件を理想的に保証する必要がある。 残念なことに、有限標本において正確な分布のない条件付きカバレッジを達成することは不可能である。 本研究では,その誤予測において分類器が過度に信頼されている場合に,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。 まず, 境界値の等式予測における誤発見事象の判別から始め, 誤発見率がベイズ最適分類器の信頼性と偏差によって異なることを示す。 この知見に感化されて、分類器の予測に対する信頼度とベイズ分類器からの偏差を計測する非パラメトリック信頼スコアという、2つの変数の縮小した集合に対するカバレッジ条件を目標とする共形予測の変種を開発する。 複数の画像データセットに対する経験的評価から,本手法は,クラス条件のカバレッジ,任意のサブグループに対するカバレッジ,人口集団に対するカバレッジなど,標準のコンフォメーション予測と比較して,条件付きカバレッジ特性が向上することが示された。

関連論文リスト

• Sparse Activations as Conformal Predictors [19.298282860984116]
  共形予測と疎ソフトマックス様変換の新たな関連性を見いだす。 本研究では, キャリブレーションプロセスが広く使用されている温度スケーリング法に対応するように, 分類のための新しい非整合性スコアを導入する。 提案手法は, 適用範囲, 効率, 適応性の観点から, 競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-02-20T17:53:41Z)
• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
  本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。 我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-01T20:44:48Z)
• Distribution-free Conformal Prediction for Ordinal Classification [0.0]
  正規分類は、対象変数がクラスラベル間で自然な順序付けを持つ実アプリケーションで一般的である。 連続的および非連続的な予測セットを構築するための新しい共形予測手法を開発した。
  論文  参考訳（メタデータ） (2024-04-25T13:49:59Z)
• Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
  我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。 本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
  論文  参考訳（メタデータ） (2023-11-03T21:19:59Z)
• Class-Conditional Conformal Prediction with Many Classes [60.8189977620604]
  類似した共形スコアを持つクラスをクラスタ化するクラスタ化共形予測法を提案する。 クラスタ化されたコンフォメーションは、クラス条件カバレッジとセットサイズメトリクスの点で、既存のメソッドよりも一般的に優れています。
  論文  参考訳（メタデータ） (2023-06-15T17:59:02Z)
• Conformalizing Machine Translation Evaluation [9.89901717499058]
  近年,機械翻訳評価のための不確実性推定手法が提案されている。 モデルの不確実性を過小評価する傾向があり、結果として、基礎的な真実をカバーしない誤った信頼区間をしばしば生み出す。 本稿では,共形予測(conformal prediction)の代替として,理論的に確立されたカバレッジ保証付き信頼区間を求める分布自由化手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T19:36:18Z)
• Post-selection Inference for Conformal Prediction: Trading off Coverage for Precision [0.0]
  伝統的に、共形予測推論はデータに依存しない発見レベルの仕様を必要とする。 我々は,データ依存的誤発見レベルを考慮した同時共形推論を開発する。
  論文  参考訳（メタデータ） (2023-04-12T20:56:43Z)
• Practical Adversarial Multivalid Conformal Prediction [27.179891682629183]
  逐次予測のための一般的な共形予測法を提案する。 相手が選択したデータに対して、ターゲットの実証的カバレッジを保証する。 これは計算的に軽量であり、分割共形予測に匹敵する。
  論文  参考訳（メタデータ） (2022-06-02T14:33:00Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。