論文の概要: Cross-Validation Conformal Risk Control
- arxiv url: http://arxiv.org/abs/2401.11974v2
- Date: Wed, 1 May 2024 15:33:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 20:01:24.515110
- Title: Cross-Validation Conformal Risk Control
- Title(参考訳): クロスバリデーションコンフォーマルリスク制御
- Authors: Kfir M. Cohen, Sangwoo Park, Osvaldo Simeone, Shlomo Shamai,
- Abstract要約: コンフォーマルリスク制御(CRC)は、従来の点予測器にポストホックを適用してキャリブレーションを保証する手法である。
本稿では,従来のCRCの検証ではなく,クロスバリデーションに基づく新しいCRC手法を提案する。
CV-CRCは、設定された予測子の平均リスクに関する理論的保証を提供する。
- 参考スコア(独自算出の注目度): 40.2365781482563
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conformal risk control (CRC) is a recently proposed technique that applies post-hoc to a conventional point predictor to provide calibration guarantees. Generalizing conformal prediction (CP), with CRC, calibration is ensured for a set predictor that is extracted from the point predictor to control a risk function such as the probability of miscoverage or the false negative rate. The original CRC requires the available data set to be split between training and validation data sets. This can be problematic when data availability is limited, resulting in inefficient set predictors. In this paper, a novel CRC method is introduced that is based on cross-validation, rather than on validation as the original CRC. The proposed cross-validation CRC (CV-CRC) extends a version of the jackknife-minmax from CP to CRC, allowing for the control of a broader range of risk functions. CV-CRC is proved to offer theoretical guarantees on the average risk of the set predictor. Furthermore, numerical experiments show that CV-CRC can reduce the average set size with respect to CRC when the available data are limited.
- Abstract(参考訳): コンフォーマルリスク制御(CRC)は、従来の点予測器にポストホックを適用してキャリブレーションを保証する手法である。
CRCを用いて共形予測(CP)を一般化し、点予測器から抽出された設定予測器に対して校正を保証し、誤発見の確率や偽陰率などのリスク関数を制御する。
オリジナルのCRCでは、トレーニングデータセットと検証データセットを分けるために利用可能なデータセットが必要である。
データ可用性が制限された場合、これは問題になり、結果として非効率なセット予測が生じる。
本稿では,従来のCRCの検証ではなく,クロスバリデーションに基づく新しいCRC手法を提案する。
提案したクロスバリデーションCRC (CV-CRC) は、ジャッキニフェミンマックスのバージョンをCPからCRCに拡張し、幅広いリスク関数の制御を可能にした。
CV-CRCは、設定された予測子の平均リスクに関する理論的保証を提供する。
さらに, CV-CRCは, 利用可能なデータに制限がある場合に, CRCに対する平均設定サイズを低減できることを示す。
関連論文リスト
- Conformal Distributed Remote Inference in Sensor Networks Under Reliability and Communication Constraints [61.62410595953275]
通信制約付き分散共形リスク制御(CD-CRC)
CD-CRCは通信制約下でのセンサネットワークのための新しい意思決定フレームワークである。
論文 参考訳(メタデータ) (2024-09-12T10:12:43Z) - Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。
さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。
我々は多種多様な高次元データにまたがって理論を検証する。
論文 参考訳(メタデータ) (2024-08-08T17:27:29Z) - Localized Adaptive Risk Control [35.88667386998423]
ローカライズド・アダプティブ・リスク・コントロール(Localized Adaptive Risk Control, L-ARC)は、統計的ローカライズされたリスク保証をターゲットとするオンラインキャリブレーション方式である。
L-ARCは、異なるデータサブポピュレーションにまたがるリスク保証を備えた予測セットを生成する実験によって実証される。
論文 参考訳(メタデータ) (2024-05-13T17:48:45Z) - CAP: A General Algorithm for Online Selective Conformal Prediction with FCR Control [4.137346786534721]
全体の誤発見レベルを測定するために,FCR (Real-time false coverage-statement rate) を制御することが重要である。
キャリブレーションセットを構築するために,過去のデータに対して適応的なピックルールを実行するCAPというフレームワークを開発した。
我々は,CAPが有限サンプルおよび分布自由な状態において,厳密な選択条件のカバレッジ保証を達成できることを証明した。
論文 参考訳(メタデータ) (2024-03-12T15:07:20Z) - Forking Uncertainties: Reliable Prediction and Model Predictive Control
with Sequence Models via Conformal Risk Control [40.918012779935246]
本稿では,事前設計した確率予測器が生成した予測に基づいて,信頼性の高いエラーバーを生成する,新しいポストホックキャリブレーション手法を提案する。
最先端技術とは異なり、PTS-CRCはカバレッジ以上の信頼性定義を満たすことができる。
PTS-CRC予測と制御の性能を,無線ネットワークの文脈における多くのユースケースの研究により実験的に検証した。
論文 参考訳(メタデータ) (2023-10-16T11:35:41Z) - Safe Deployment for Counterfactual Learning to Rank with Exposure-Based
Risk Minimization [63.93275508300137]
本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。
提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
論文 参考訳(メタデータ) (2023-04-26T15:54:23Z) - Bayes risk CTC: Controllable CTC alignment in Sequence-to-Sequence tasks [63.189632935619535]
予測アライメントの望ましい特性を強制するためにベイズリスクCTC(BRCTC)を提案する。
BRCTCを他の早期排出の選好と組み合わせることで、オンラインモデルの性能・遅延トレードオフが改善される。
論文 参考訳(メタデータ) (2022-10-14T03:55:36Z) - Few-Shot Calibration of Set Predictors via Meta-Learned
Cross-Validation-Based Conformal Prediction [33.33774397643919]
本稿では,設定した予測サイズを減らすことを目的としたメタ学習ソリューションを提案する。
より効率的なバリデーションベースのCPではなく、クロスバリデーションベースのCP上に構築されている。
これは、厳格なタスク・マージナル保証を減らすのではなく、正式なタスク毎のキャリブレーション保証を保持する。
論文 参考訳(メタデータ) (2022-10-06T17:21:03Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳(メタデータ) (2020-06-29T21:50:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。