論文の概要: Approximate Conditional Coverage via Neural Model Approximations
- arxiv url: http://arxiv.org/abs/2205.14310v1
- Date: Sat, 28 May 2022 02:59:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 14:18:50.945500
- Title: Approximate Conditional Coverage via Neural Model Approximations
- Title（参考訳）: ニューラルモデル近似による近似条件被覆
- Authors: Allen Schmaltz and Danielle Rasooly
- Abstract要約: 実験的に信頼性の高い近似条件付きカバレッジを得るためのデータ駆動手法を解析する。
我々は、限界範囲のカバレッジ保証を持つ分割型代替案で、実質的な(そして、そうでない)アンダーカバーの可能性を実証する。
- 参考スコア（独自算出の注目度）: 0.030458514384586396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Constructing reliable prediction sets is an obstacle for applications of
neural models: Distribution-free conditional coverage is theoretically
impossible, and the exchangeability assumption underpinning the coverage
guarantees of standard split-conformal approaches is violated on domain shifts.
Given these challenges, we propose and analyze a data-driven procedure for
obtaining empirically reliable approximate conditional coverage, calculating
unique quantile thresholds for each label for each test point. We achieve this
via the strong signals for prediction reliability from KNN-based model
approximations over the training set and approximations over constrained
samples from the held-out calibration set. We demonstrate the potential for
substantial (and otherwise unknowable) under-coverage with split-conformal
alternatives with marginal coverage guarantees when not taking these distances
and constraints into account with protein secondary structure prediction,
grammatical error detection, sentiment classification, and fact verification,
covering supervised sequence labeling, zero-shot sequence labeling (i.e.,
feature detection), document classification (with sparsity/interpretability
constraints), and retrieval-classification, including class-imbalanced and
domain-shifted settings.
- Abstract（参考訳）: 分布のない条件付きカバレッジは理論的には不可能であり、標準的な分割型アプローチのカバレッジを保証する交換可能性の仮定はドメインシフトに違反する。
これらの課題を踏まえ、実験的に信頼性の高い近似条件付きカバレッジを得るためのデータ駆動手法の提案と解析を行い、各テストポイントのラベルごとに独自の量子しきい値を算出する。
学習セット上でのknnモデル近似とホールドアウトキャリブレーションセットからの制約付きサンプルに対する近似から予測信頼性を推定する強信号を用いてこれを達成する。
We demonstrate the potential for substantial (and otherwise unknowable) under-coverage with split-conformal alternatives with marginal coverage guarantees when not taking these distances and constraints into account with protein secondary structure prediction, grammatical error detection, sentiment classification, and fact verification, covering supervised sequence labeling, zero-shot sequence labeling (i.e., feature detection), document classification (with sparsity/interpretability constraints), and retrieval-classification, including class-imbalanced and domain-shifted settings.
関連論文リスト
- Adaptive Conformal Inference by Particle Filtering under Hidden Markov Models [8.505262415500168]
本稿では,この問題に対処するための粒子フィルタリング手法を活用する適応型共形推論フレームワークを提案する。
観測不能な隠れ状態に直接焦点をあてるのではなく、隠れ状態の実際の後部分布の近似として重み付き粒子を革新的に利用する。
論文 参考訳（メタデータ） (2024-11-03T13:15:32Z) - Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-13T15:37:11Z) - Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。
我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
論文 参考訳（メタデータ） (2024-07-01T20:44:48Z) - Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳（メタデータ） (2024-02-14T14:35:57Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳（メタデータ） (2023-07-06T04:13:57Z) - Conformal Prediction with Missing Values [19.18178194789968]
まず,共形予測の限界カバレッジ保証が,不一致分布のインプットデータに当てはまることを示す。
次に、インプットされたデータに基づいてトレーニングされた普遍的に一貫した量子レグレッションアルゴリズムが、ピンボールリスクに対してベイズ最適であることを示す。
論文 参考訳（メタデータ） (2023-06-05T09:28:03Z) - Practical Adversarial Multivalid Conformal Prediction [27.179891682629183]
逐次予測のための一般的な共形予測法を提案する。
相手が選択したデータに対して、ターゲットの実証的カバレッジを保証する。
これは計算的に軽量であり、分割共形予測に匹敵する。
論文 参考訳（メタデータ） (2022-06-02T14:33:00Z) - Distribution-free uncertainty quantification for classification under
label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。
まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。
これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文 参考訳（メタデータ） (2021-03-04T20:51:03Z) - Estimation and Applications of Quantiles in Deep Binary Classification [0.0]
チェック損失に基づく量子回帰は統計学において広く使われている推論パラダイムである。
二項分類設定におけるチェック損失の類似について考察する。
我々は、予測が信頼できるかどうかを判断するために使用できる個別信頼度スコアを開発する。
論文 参考訳（メタデータ） (2021-02-09T07:07:42Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Distribution-free binary classification: prediction sets, confidence
intervals and calibration [106.50279469344937]
分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。
固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。
我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
論文 参考訳（メタデータ） (2020-06-18T14:17:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。