論文の概要: Post-selection Inference for Conformal Prediction: Trading off Coverage
for Precision
- arxiv url: http://arxiv.org/abs/2304.06158v3
- Date: Fri, 30 Jun 2023 21:25:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 13:52:10.218949
- Title: Post-selection Inference for Conformal Prediction: Trading off Coverage
for Precision
- Title(参考訳): コンフォメーション予測のためのポストセレクション推論:精度のためにカバレッジをトレードオフする
- Authors: Siddhaarth Sarkar, Arun Kumar Kuchibhotla
- Abstract要約: 伝統的に、共形予測推論はデータに依存しない発見レベルの仕様を必要とする。
我々は,データ依存的誤発見レベルを考慮した同時共形推論を開発する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conformal inference has played a pivotal role in providing uncertainty
quantification for black-box ML prediction algorithms with finite sample
guarantees. Traditionally, conformal prediction inference requires a
data-independent specification of miscoverage level. In practical applications,
one might want to update the miscoverage level after computing the prediction
set. For example, in the context of binary classification, the analyst might
start with a 95$\%$ prediction sets and see that most prediction sets contain
all outcome classes. Prediction sets with both classes being undesirable, the
analyst might desire to consider, say 80$\%$ prediction set. Construction of
prediction sets that guarantee coverage with data-dependent miscoverage level
can be considered as a post-selection inference problem. In this work, we
develop simultaneous conformal inference to account for data-dependent
miscoverage levels. Under the assumption of independent and identically
distributed observations, our proposed methods have a finite sample
simultaneous guarantee over all miscoverage levels. This allows practitioners
to trade freely coverage probability for the quality of the prediction set by
any criterion of their choice (say size of prediction set) while maintaining
the finite sample guarantees similar to traditional conformal inference.
- Abstract(参考訳): 共形推論は、有限サンプル保証付きブラックボックスml予測アルゴリズムの不確実性定量化に重要な役割を果たしている。
伝統的に、共形予測推論はデータに依存しない発見レベルの仕様を必要とする。
現実的な応用では、予測セットを計算した後、誤発見レベルを更新したいかもしれない。
例えば、二項分類の文脈では、アナリストは95$\%の予測セットから始め、ほとんどの予測セットがすべての結果クラスを含んでいることを確認する。
両方のクラスが望ましくない予測セット アナリストは、例えば 80$\%$ の予測セットについて検討したいかもしれない。
データ依存的ミスカバーレベルのカバレッジを保証する予測セットの構築は、選択後の推論問題と見なすことができる。
本研究では,データ依存的誤発見レベルを考慮した同時共形推論を開発する。
独立分布観測と同一分布観測の仮定の下で,提案手法はすべての誤発見レベルに対して有限標本同時保証を有する。
これにより、従来の共形推論と類似した有限サンプル保証を維持しながら、任意の選択の基準(予測セットのサイズなど)によって設定された予測の品質に対して、自由にカバー確率を交換することができる。
関連論文リスト
- Bin-Conditional Conformal Prediction of Fatalities from Armed Conflict [0.5312303275762104]
両条件共形予測(bin-conditional conformal prediction)と呼ぶ共形予測アルゴリズムを新たに導入する。
この手法により,任意の予測モデルに対して,個々のレベルの予測間隔を得ることができる。
両条件共形予測アルゴリズムを用いて、武装紛争による死亡率の予測を行う。
論文 参考訳(メタデータ) (2024-10-18T14:41:42Z) - Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳(メタデータ) (2024-10-13T15:37:11Z) - Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。
我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
論文 参考訳(メタデータ) (2024-07-01T20:44:48Z) - Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。
本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
論文 参考訳(メタデータ) (2023-11-03T21:19:59Z) - PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳(メタデータ) (2023-10-19T17:57:57Z) - Conformal Prediction for Deep Classifier via Label Ranking [29.784336674173616]
コンフォーマル予測(Conformal prediction)は、予測セットを所望のカバレッジ保証で生成する統計フレームワークである。
我々は、$textitSorted Adaptive Prediction Sets$ (SAPS)という新しいアルゴリズムを提案する。
SAPSは最大ソフトマックス確率を除いて全ての確率値を捨てる。
論文 参考訳(メタデータ) (2023-10-10T08:54:14Z) - Distribution-Free Finite-Sample Guarantees and Split Conformal
Prediction [0.0]
分割共形予測は、最小分布自由仮定の下で有限サンプル保証を得るための有望な道を表す。
1940年代に開発された分割共形予測と古典的寛容予測との関連性を強調した。
論文 参考訳(メタデータ) (2022-10-26T14:12:24Z) - Predictive Inference with Feature Conformal Prediction [80.77443423828315]
本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。
理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。
提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
論文 参考訳(メタデータ) (2022-10-01T02:57:37Z) - Practical Adversarial Multivalid Conformal Prediction [27.179891682629183]
逐次予測のための一般的な共形予測法を提案する。
相手が選択したデータに対して、ターゲットの実証的カバレッジを保証する。
これは計算的に軽量であり、分割共形予測に匹敵する。
論文 参考訳(メタデータ) (2022-06-02T14:33:00Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳(メタデータ) (2021-02-11T18:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。