論文の概要: Post-selection Inference for Conformal Prediction: Trading off Coverage
for Precision
- arxiv url: http://arxiv.org/abs/2304.06158v3
- Date: Fri, 30 Jun 2023 21:25:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 13:52:10.218949
- Title: Post-selection Inference for Conformal Prediction: Trading off Coverage
for Precision
- Title(参考訳): コンフォメーション予測のためのポストセレクション推論:精度のためにカバレッジをトレードオフする
- Authors: Siddhaarth Sarkar, Arun Kumar Kuchibhotla
- Abstract要約: 伝統的に、共形予測推論はデータに依存しない発見レベルの仕様を必要とする。
我々は,データ依存的誤発見レベルを考慮した同時共形推論を開発する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conformal inference has played a pivotal role in providing uncertainty
quantification for black-box ML prediction algorithms with finite sample
guarantees. Traditionally, conformal prediction inference requires a
data-independent specification of miscoverage level. In practical applications,
one might want to update the miscoverage level after computing the prediction
set. For example, in the context of binary classification, the analyst might
start with a 95$\%$ prediction sets and see that most prediction sets contain
all outcome classes. Prediction sets with both classes being undesirable, the
analyst might desire to consider, say 80$\%$ prediction set. Construction of
prediction sets that guarantee coverage with data-dependent miscoverage level
can be considered as a post-selection inference problem. In this work, we
develop simultaneous conformal inference to account for data-dependent
miscoverage levels. Under the assumption of independent and identically
distributed observations, our proposed methods have a finite sample
simultaneous guarantee over all miscoverage levels. This allows practitioners
to trade freely coverage probability for the quality of the prediction set by
any criterion of their choice (say size of prediction set) while maintaining
the finite sample guarantees similar to traditional conformal inference.
- Abstract(参考訳): 共形推論は、有限サンプル保証付きブラックボックスml予測アルゴリズムの不確実性定量化に重要な役割を果たしている。
伝統的に、共形予測推論はデータに依存しない発見レベルの仕様を必要とする。
現実的な応用では、予測セットを計算した後、誤発見レベルを更新したいかもしれない。
例えば、二項分類の文脈では、アナリストは95$\%の予測セットから始め、ほとんどの予測セットがすべての結果クラスを含んでいることを確認する。
両方のクラスが望ましくない予測セット アナリストは、例えば 80$\%$ の予測セットについて検討したいかもしれない。
データ依存的ミスカバーレベルのカバレッジを保証する予測セットの構築は、選択後の推論問題と見なすことができる。
本研究では,データ依存的誤発見レベルを考慮した同時共形推論を開発する。
独立分布観測と同一分布観測の仮定の下で,提案手法はすべての誤発見レベルに対して有限標本同時保証を有する。
これにより、従来の共形推論と類似した有限サンプル保証を維持しながら、任意の選択の基準(予測セットのサイズなど)によって設定された予測の品質に対して、自由にカバー確率を交換することができる。
関連論文リスト
- Confidence on the Focal: Conformal Prediction with Selection-Conditional
Coverage [7.101159167852021]
コンフォーマル予測は、ランダムに描画された新しいテストポイントの未知の結果を所定の確率でカバーする、わずかに有効な予測間隔を構築する。
本稿では、選択した単位に対して、有限サンプルの正確なカバレッジ条件を持つ予測セットを構築するための一般的な枠組みを提案する。
論文 参考訳(メタデータ) (2024-03-06T17:18:24Z) - Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。
本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
論文 参考訳(メタデータ) (2023-11-03T21:19:59Z) - PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳(メタデータ) (2023-10-19T17:57:57Z) - Conformalizing Machine Translation Evaluation [9.89901717499058]
近年,機械翻訳評価のための不確実性推定手法が提案されている。
モデルの不確実性を過小評価する傾向があり、結果として、基礎的な真実をカバーしない誤った信頼区間をしばしば生み出す。
本稿では,共形予測(conformal prediction)の代替として,理論的に確立されたカバレッジ保証付き信頼区間を求める分布自由化手法を提案する。
論文 参考訳(メタデータ) (2023-06-09T19:36:18Z) - Distribution-Free Finite-Sample Guarantees and Split Conformal
Prediction [0.0]
分割共形予測は、最小分布自由仮定の下で有限サンプル保証を得るための有望な道を表す。
1940年代に開発された分割共形予測と古典的寛容予測との関連性を強調した。
論文 参考訳(メタデータ) (2022-10-26T14:12:24Z) - Predictive Inference with Feature Conformal Prediction [80.77443423828315]
本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。
理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。
提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
論文 参考訳(メタデータ) (2022-10-01T02:57:37Z) - Practical Adversarial Multivalid Conformal Prediction [27.179891682629183]
逐次予測のための一般的な共形予測法を提案する。
相手が選択したデータに対して、ターゲットの実証的カバレッジを保証する。
これは計算的に軽量であり、分割共形予測に匹敵する。
論文 参考訳(メタデータ) (2022-06-02T14:33:00Z) - Distribution-free uncertainty quantification for classification under
label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。
まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。
これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文 参考訳(メタデータ) (2021-03-04T20:51:03Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳(メタデータ) (2021-02-11T18:59:11Z) - Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。
提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
論文 参考訳(メタデータ) (2021-01-07T18:59:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。