論文の概要: CAP: A General Algorithm for Online Selective Conformal Prediction with FCR Control
- arxiv url: http://arxiv.org/abs/2403.07728v3
- Date: Thu, 19 Dec 2024 06:51:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-20 13:28:02.391743
- Title: CAP: A General Algorithm for Online Selective Conformal Prediction with FCR Control
- Title（参考訳）: CAP:FCR制御を用いたオンライン選択等角予測アルゴリズム
- Authors: Yajie Bao, Yuyang Huo, Haojie Ren, Changliang Zou,
- Abstract要約: 全体の誤発見レベルを測定するために,FCR (Real-time false coverage-statement rate) を制御することが重要である。
キャリブレーションセットを構築するために,過去のデータに対して適応的なピックルールを実行するCAPというフレームワークを開発した。
我々は,CAPが有限サンプルおよび分布自由な状態において,厳密な選択条件のカバレッジ保証を達成できることを証明した。
- 参考スコア（独自算出の注目度）: 4.137346786534721
- License:
- Abstract: We study the problem of post-selection predictive inference in an online fashion. To avoid devoting resources to unimportant units, a preliminary selection of the current individual before reporting its prediction interval is common and meaningful in online predictive tasks. Since the online selection causes a temporal multiplicity in the selected prediction intervals, it is important to control the real-time false coverage-statement rate (FCR) which measures the overall miscoverage level. We develop a general framework named CAP (Calibration after Adaptive Pick) that performs an adaptive pick rule on historical data to construct a calibration set if the current individual is selected and then outputs a conformal prediction interval for the unobserved label. We provide tractable procedures for constructing the calibration set for popular online selection rules. We proved that CAP can achieve an exact selection-conditional coverage guarantee in the finite-sample and distribution-free regimes. To account for the distribution shift in online data, we also embed CAP into some recent dynamic conformal prediction algorithms and show that the proposed method can deliver long-run FCR control. Numerical results on both synthetic and real data corroborate that CAP can effectively control FCR around the target level and yield more narrowed prediction intervals over existing baselines across various settings.
- Abstract（参考訳）: 選択後予測推論の問題について,オンライン手法を用いて検討する。
重要でない単位へのリソースの流出を避けるため、オンライン予測タスクでは、予測間隔を報告する前に現在の個人を予備選択することが一般的で有意義である。
オンライン選択は、選択した予測間隔に時間的多重性を引き起こすため、全体の誤発見レベルを測定するリアルタイム偽カバレッジステートメントレート(FCR)を制御することが重要である。
本研究では,従来のデータに対して適応的なピックルールを実行するCAP(Calibration after Adaptive Pick)と呼ばれる一般的なフレームワークを開発し,現在の個人が選択された場合のキャリブレーションセットを構築し,未観測ラベルに対して共形予測間隔を出力する。
我々は、人気のあるオンライン選択ルールの校正セットを構築するための抽出可能な手順を提供する。
我々は,CAPが有限サンプルおよび分布自由状態において,厳密な選択条件のカバレッジ保証を達成できることを証明した。
オンラインデータの分布変化を考慮し,最近の動的共形予測アルゴリズムにCAPを組み込んで,提案手法が長期FCR制御を実現することを示す。
合成データと実データの両方に関する数値的な結果から、CAPはターゲットレベルのFCRを効果的に制御し、様々な設定で既存のベースラインよりもより狭い予測間隔を得ることができる。
関連論文リスト
- Online scalable Gaussian processes with conformal prediction for guaranteed coverage [32.21093722162573]
結果として生じる不確実な値の整合性は、学習関数がGPモデルで指定された特性に従うという前提に基づいている。
提案するGPは,分散のない後処理フレームワークである共形予測(CP)を用いて,有意なカバレッジで予測セットを生成する。
論文 参考訳（メタデータ） (2024-10-07T19:22:15Z) - Selecting informative conformal prediction sets with false coverage rate control [0.873811641236639]
コンフォーマル手法は、任意の機械学習予測器に対して有限サンプルカバレッジで結果/ラベルの予測セットを提供する。
分析者は,予測セットが十分小さいサンプルのみを情報的とみなすことができる分類設定と回帰設定の両方を考慮する。
本研究では,このような情報的共形予測セットを構築するための統一的なフレームワークを開発し,選択したサンプルの偽カバレッジ率(FCR)を制御した。
論文 参考訳（メタデータ） (2024-03-18T22:35:43Z) - Confidence on the Focal: Conformal Prediction with Selection-Conditional Coverage [6.010965256037659]
コンフォーマル予測は、ランダムに描画された新しいテストポイントの未知の結果を所定の確率でカバーする、わずかに有効な予測間隔を構築する。
そのようなケースでは、選択バイアスによる焦点単位に対する正当性予測間隔は、選択バイアスによる有効なカバレッジを提供できない。
本稿では、選択した単位に対して、有限サンプルの正確なカバレッジ条件を持つ予測セットを構築するための一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2024-03-06T17:18:24Z) - PAC-Bayes Generalization Certificates for Learned Inductive Conformal
Prediction [27.434939269672288]
我々はPAC-Bayes理論を用いて、集合値予測器のカバレッジと効率の一般化境界を求める。
我々はこれらの理論結果を活用し、キャリブレーションデータを用いてモデルのパラメータやスコア関数を微調整する実用的なアルゴリズムを提供する。
我々は, 回帰および分類タスクに対するアプローチの評価を行い, ICP 上の Hoeffding bound-based PAC 保証を用いて, 基準値の調整を行った。
論文 参考訳（メタデータ） (2023-12-07T19:40:44Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳（メタデータ） (2023-07-06T04:13:57Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - Improved Online Conformal Prediction via Strongly Adaptive Online
Learning [86.4346936885507]
我々は、強い適応的後悔を最小限に抑える新しいオンライン共形予測手法を開発した。
提案手法は,すべての区間において,ほぼ最適に適応的な後悔を同時に達成できることを実証する。
実験により,本手法は実世界のタスクにおける既存の手法よりも,より優れたカバレッジと予測セットが得られることがわかった。
論文 参考訳（メタデータ） (2023-02-15T18:59:30Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳（メタデータ） (2021-02-11T18:59:11Z) - Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。
また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
論文 参考訳（メタデータ） (2020-08-21T18:43:37Z) - AutoCP: Automated Pipelines for Accurate Prediction Intervals [84.16181066107984]
本稿では、自動予測のための自動機械学習(Automatic Machine Learning for Conformal Prediction, AutoCP)というAutoMLフレームワークを提案する。
最高の予測モデルを選択しようとする慣れ親しんだAutoMLフレームワークとは異なり、AutoCPは、ユーザが指定したターゲットカバレッジ率を達成する予測間隔を構築する。
さまざまなデータセットでAutoCPをテストしたところ、ベンチマークアルゴリズムを著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2020-06-24T23:13:11Z) - Structure-Adaptive Sequential Testing for Online False Discovery Rate
Control [1.456699007803424]
本研究は、オンライン偽発見率(FDR)制御のための構造適応シーケンシャルテスト(SAST)ルールの新しいクラスを開発する。
我々の提案の重要な要素は、逐次決定における利得と損失を正確に特徴付ける新しいアルファ投資アルゴリズムである。
論文 参考訳（メタデータ） (2020-02-28T23:16:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。