論文の概要: CAS: A General Algorithm for Online Selective Conformal Prediction with FCR Control

• arxiv url: http://arxiv.org/abs/2403.07728v1
• Date: Tue, 12 Mar 2024 15:07:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 21:04:00.095860
• Title: CAS: A General Algorithm for Online Selective Conformal Prediction with FCR Control
• Title（参考訳）: cas:fcr制御を用いたオンライン選択共形予測のための一般アルゴリズム
• Authors: Yajie Bao, Yuyang Huo, Haojie Ren, Changliang Zou
• Abstract要約: 我々は,任意の予測モデルとオンライン選択ルールをラップできるCASという汎用フレームワークを開発した。 我々はCASが有限サンプルおよび分布自由な状態において、厳密な選択条件のカバレッジ保証を達成できることを証明した。 合成データと実データの両方の数値計算結果から,CASがFCRを目標レベル付近で効果的に制御できることが判明した。
• 参考スコア（独自算出の注目度）: 4.519754139322585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of post-selection predictive inference in an online fashion. To avoid devoting resources to unimportant units, a preliminary selection of the current individual before reporting its prediction interval is common and meaningful in online predictive tasks. Since the online selection causes a temporal multiplicity in the selected prediction intervals, it is important to control the real-time false coverage-statement rate (FCR) to measure the averaged miscoverage error. We develop a general framework named CAS (Calibration after Adaptive Selection) that can wrap around any prediction model and online selection rule to output post-selection prediction intervals. If the current individual is selected, we first perform an adaptive selection on historical data to construct a calibration set, then output a conformal prediction interval for the unobserved label. We provide tractable constructions for the calibration set for popular online selection rules. We proved that CAS can achieve an exact selection-conditional coverage guarantee in the finite-sample and distribution-free regimes. For the decision-driven selection rule, including most online multiple-testing procedures, CAS can exactly control the real-time FCR below the target level without any distributional assumptions. For the online selection with symmetric thresholds, we establish the error bound for the control gap of FCR under mild distributional assumptions. To account for the distribution shift in online data, we also embed CAS into some recent dynamic conformal prediction methods and examine the long-run FCR control. Numerical results on both synthetic and real data corroborate that CAS can effectively control FCR around the target level and yield more narrowed prediction intervals over existing baselines across various settings.
• Abstract（参考訳）: 選択後予測推論の問題点をオンライン方式で検討する。 重要でない単位へのリソースの流出を避けるため、オンライン予測タスクでは、予測間隔を報告する前に現在の個人を予備選択することが一般的で有意義である。 オンライン選択は、選択した予測間隔に時間的多重性を引き起こすため、実時間偽被覆率(FCR)を制御して平均的誤発見誤差を測定することが重要である。 我々はcas(calibration after adaptive selection)という汎用フレームワークを開発し、任意の予測モデルとオンライン選択ルールを包み込み、選択後の予測間隔を出力する。 現在の個人が選択された場合、まず履歴データに対して適応的な選択を行い、キャリブレーションセットを構築し、観測されていないラベルに対して共形予測間隔を出力する。 一般的なオンライン選択ルールのためのキャリブレーションセットの扱いやすい構成を提供する。 我々はCASが有限サンプルおよび分布自由状態において正確な選択条件カバレッジを保証することを証明した。 ほとんどのオンライン多重テスト手順を含む決定駆動選択ルールでは、CASは、分布的な仮定なしでターゲットレベル以下のリアルタイムFCRを正確に制御できる。 対称しきい値を持つオンライン選択では,fcrの制御ギャップに対する誤差境界を軽度分布条件下で確立する。 オンラインデータの分布変化を考慮し、最近の動的共形予測手法にCASを組み込み、長期のFCR制御について検討する。 合成データと実データの両方に関する数値的な結果から、CASはターゲットレベルのFCRを効果的に制御し、様々な設定で既存のベースラインよりもより狭い予測間隔を得ることができる。

関連論文リスト

• Online scalable Gaussian processes with conformal prediction for guaranteed coverage [32.21093722162573]
  結果として生じる不確実な値の整合性は、学習関数がGPモデルで指定された特性に従うという前提に基づいている。 提案するGPは,分散のない後処理フレームワークである共形予測(CP)を用いて,有意なカバレッジで予測セットを生成する。
  論文  参考訳（メタデータ） (2024-10-07T19:22:15Z)
• Selecting informative conformal prediction sets with false coverage rate control [0.873811641236639]
  コンフォーマル手法は、任意の機械学習予測器に対して有限サンプルカバレッジで結果/ラベルの予測セットを提供する。 分析者は,予測セットが十分小さいサンプルのみを情報的とみなすことができる分類設定と回帰設定の両方を考慮する。 本研究では,このような情報的共形予測セットを構築するための統一的なフレームワークを開発し,選択したサンプルの偽カバレッジ率(FCR)を制御した。
  論文  参考訳（メタデータ） (2024-03-18T22:35:43Z)
• Confidence on the Focal: Conformal Prediction with Selection-Conditional Coverage [6.010965256037659]
  コンフォーマル予測は、ランダムに描画された新しいテストポイントの未知の結果を所定の確率でカバーする、わずかに有効な予測間隔を構築する。 そのようなケースでは、選択バイアスによる焦点単位に対する正当性予測間隔は、選択バイアスによる有効なカバレッジを提供できない。 本稿では、選択した単位に対して、有限サンプルの正確なカバレッジ条件を持つ予測セットを構築するための一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-03-06T17:18:24Z)
• PAC-Bayes Generalization Certificates for Learned Inductive Conformal Prediction [27.434939269672288]
  我々はPAC-Bayes理論を用いて、集合値予測器のカバレッジと効率の一般化境界を求める。 我々はこれらの理論結果を活用し、キャリブレーションデータを用いてモデルのパラメータやスコア関数を微調整する実用的なアルゴリズムを提供する。 我々は, 回帰および分類タスクに対するアプローチの評価を行い, ICP 上の Hoeffding bound-based PAC 保証を用いて, 基準値の調整を行った。
  論文  参考訳（メタデータ） (2023-12-07T19:40:44Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Improved Online Conformal Prediction via Strongly Adaptive Online Learning [86.4346936885507]
  我々は、強い適応的後悔を最小限に抑える新しいオンライン共形予測手法を開発した。 提案手法は,すべての区間において,ほぼ最適に適応的な後悔を同時に達成できることを実証する。 実験により,本手法は実世界のタスクにおける既存の手法よりも,より優れたカバレッジと予測セットが得られることがわかった。
  論文  参考訳（メタデータ） (2023-02-15T18:59:30Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)
• Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
  本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。 また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
  論文  参考訳（メタデータ） (2020-08-21T18:43:37Z)
• AutoCP: Automated Pipelines for Accurate Prediction Intervals [84.16181066107984]
  本稿では、自動予測のための自動機械学習(Automatic Machine Learning for Conformal Prediction, AutoCP)というAutoMLフレームワークを提案する。 最高の予測モデルを選択しようとする慣れ親しんだAutoMLフレームワークとは異なり、AutoCPは、ユーザが指定したターゲットカバレッジ率を達成する予測間隔を構築する。 さまざまなデータセットでAutoCPをテストしたところ、ベンチマークアルゴリズムを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-06-24T23:13:11Z)
• Structure-Adaptive Sequential Testing for Online False Discovery Rate Control [1.456699007803424]
  本研究は、オンライン偽発見率(FDR)制御のための構造適応シーケンシャルテスト(SAST)ルールの新しいクラスを開発する。 我々の提案の重要な要素は、逐次決定における利得と損失を正確に特徴付ける新しいアルファ投資アルゴリズムである。
  論文  参考訳（メタデータ） (2020-02-28T23:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。