論文の概要: Online Conformal Prediction Beyond Feedback
- arxiv url: http://arxiv.org/abs/2608.07139v1
- Date: Fri, 07 Aug 2026 11:58:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.486923
- Title: Online Conformal Prediction Beyond Feedback
- Title（参考訳）: フィードバックを超えたオンラインコンフォーマル予測
- Abstract要約: 安全クリティカルなアプリケーションに機械学習モデルをデプロイする際には、不確実性定量化が不可欠である。
オンライン共形予測(OCP)は、任意のブラックボックス分類器と非i.d.データストリームに対して理論的に原理化された不確実性定量化を提供する。
我々は,Cesa-Bianchi,Lugosi,Stoltz (2004) のラベル効率予測器を用いて,クエリを用いたOCPQ(OCPQ)を開発した。
- 参考スコア（独自算出の注目度）: 28.843690637682915
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Uncertainty quantification is essential when deploying machine learning models in safety-critical applications. Online conformal prediction (OCP) provides theoretically principled uncertainty quantification for arbitrary black-box classifiers and non-i.i.d. data streams by constructing prediction sets that are guaranteed to contain the true label at a user-specified frequency. OCP usually updates prediction sets using feedback from previously deployed predictions. We instead study an OCP setting beyond feedback: on each round, the learner can either output a prediction set or query the correct label, but not both. Thus, no deployed prediction is ever evaluated directly. We reduce this problem to a partial monitoring game in which prediction actions return no observation and a separate query action reveals the label. The reward function is constructed in a way that encourages the learner to output small prediction sets while ensuring that the correct label is covered with a sufficiently high probability. To solve this game, we develop OCP with queries (OCPQ) by adapting the label efficient forecaster of Cesa-Bianchi, Lugosi, and Stoltz (2004) to our setting. For any black box classifier and any (non-i.i.d.) oblivious data stream of length $T$, OCPQ has $O(T^{2/3})$ expected regret and expected coverage at least $β-O(T^{-1/3})$ for a user-defined $β$, while querying only an expected $T^{-1/3}$ fraction of rounds. This provides coverage comparable to bandit-based OCP methods while requiring no feedback from deployed prediction sets. Experiments on real-world datasets further demonstrate the effectiveness of our approach.
- Abstract（参考訳）: 安全クリティカルなアプリケーションに機械学習モデルをデプロイする際には、不確実性定量化が不可欠である。
オンライン共形予測(OCP)は、ユーザの特定頻度で真のラベルを含むことが保証される予測セットを構築することにより、任意のブラックボックス分類器と非i.d.データストリームに対して理論的に原理化された不確実性定量化を提供する。
OCPは通常、以前にデプロイされた予測からのフィードバックを使って予測セットを更新する。
それぞれのラウンドで、学習者は予測セットを出力するか、正しいラベルを問うことができるが、両方ではない。
したがって、デプロイされた予測を直接評価することはない。
我々は、この問題を、予測アクションが観察を返さない部分的な監視ゲームに還元し、個別のクエリアクションがラベルを明らかにする。
報奨関数は、学習者が適切なラベルが十分に高い確率でカバーされていることを保証しつつ、小さな予測セットを出力するように促す方法で構成される。
そこで我々は,Cesa-Bianchi,Lugosi,Stoltz (2004) のラベル効率的な予測器を用いて,クエリ付きOCPQ(OCPQ)を開発した。
ブラックボックスの分類器と、長さ$T$の未解決データストリームに対して、OCPQは$O(T^{2/3})$期待される後悔と期待されるカバレッジを少なくとも$β-O(T^{-1/3})$で、ユーザ定義の$β$については$T^{-1/3}$のラウンドのみをクエリする。
これは、デプロイされた予測セットからのフィードバックを必要とせず、BanditベースのOCPメソッドに匹敵するカバレッジを提供する。
実世界のデータセットの実験は、我々のアプローチの有効性をさらに実証する。
関連論文リスト
- CASP: Learning-Augmented Offline Approximation with Verifiable Certificates and Bounded-Loss PAC Guarantees [1.7545090618311434]
マシンが学習した予測は、オフラインNPハード最適化を高速化するが、予測者にその問題を解決するために何をすべきかを尋ねる。
CASP (Certificate-Augmented Solution Pruning) は代わりに、どの部分の検索空間を無視するかを尋ね、サウンドタイム検証器がチェックした後のみ、各回答を受け入れる。
トレーニングされた予測器では、未検証プルーニングは配布シフト時の最適値の最大26%を失うが、検証された同じ予測のデプロイでは、何も失われることはない。
論文 参考訳（メタデータ） (2026-07-16T04:02:15Z) - Distribution-informed Online Conformal Prediction [53.674678995825666]
更新ルールに基礎となるデータパターンを組み込んだオンラインコンフォメーション予測アルゴリズムである Conformal Optimistic Prediction (COP) を提案する。
COPは予測可能なパターンが存在する場合により厳密な予測セットを生成し、見積もりが不正確な場合でも有効なカバレッジ保証を保持する。
我々は,COPが有効なカバレッジを実現し,他のベースラインよりも短い予測間隔を構築できることを証明した。
論文 参考訳（メタデータ） (2025-12-08T17:51:49Z) - Classification with Reject Option: Distribution-free Error Guarantees via Conformal Prediction [1.1380162891529535]
我々は、二項分類におけるリジェクションオプションによる機械学習のアプローチを定式化する。
結果の誤差率に関する理論的保証を提供する。
エラー・リジェクト曲線は、エラーレートとリジェクトレートの間のトレードオフを示している。
論文 参考訳（メタデータ） (2025-06-26T23:04:25Z) - Optimal Conformal Prediction under Epistemic Uncertainty [61.46247583794497]
コンフォーマル予測(CP)は不確実性を表すための一般的なフレームワークである。
条件付きカバレッジを保証する最小の予測セットを生成するBernoulli予測セット(BPS)を導入する。
1次予測を与えられた場合、BPSはよく知られた適応予測セット(APS)に還元する。
論文 参考訳（メタデータ） (2025-05-25T08:32:44Z) - Verifiably Robust Conformal Prediction [1.391198481393699]
本稿では、ニューラルネットワーク検証手法を利用して、敵攻撃時のカバレッジ保証を回復する新しいフレームワークであるVRCP(Verifiably Robust Conformal Prediction)を紹介する。
私たちのメソッドは、回帰タスクだけでなく、$ell1$, $ell2$, $ellinfty$といった任意のノルムで束縛された摂動をサポートする最初の方法です。
いずれの場合も、VRCPは名目上の範囲を達成し、SotAよりもはるかに効率的で情報的な予測領域が得られる。
論文 参考訳（メタデータ） (2024-05-29T09:50:43Z) - PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳（メタデータ） (2023-10-19T17:57:57Z) - Conformal Prediction for Deep Classifier via Label Ranking [29.784336674173616]
コンフォーマル予測(Conformal prediction)は、予測セットを所望のカバレッジ保証で生成する統計フレームワークである。
我々は、$textitSorted Adaptive Prediction Sets$ (SAPS)という新しいアルゴリズムを提案する。
SAPSは最大ソフトマックス確率を除いて全ての確率値を捨てる。
論文 参考訳（メタデータ） (2023-10-10T08:54:14Z) - Post-selection Inference for Conformal Prediction: Trading off Coverage
for Precision [0.0]
伝統的に、共形予測推論はデータに依存しない発見レベルの仕様を必要とする。
我々は,データ依存的誤発見レベルを考慮した同時共形推論を開発する。
論文 参考訳（メタデータ） (2023-04-12T20:56:43Z) - Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target [56.99669411766284]
自律的なシステムがタスクを実行する場合、ユーザの目標を達成する確率のキャリブレーションされた見積もりを維持する必要がある。
本稿では,ユーザの目標が目標間隔として指定される設定について検討する。
我々は、共形予測を反転させて確率推定を計算する。
論文 参考訳（メタデータ） (2022-11-29T18:41:20Z) - Almost Tight L0-norm Certified Robustness of Top-k Predictions against
Adversarial Perturbations [78.23408201652984]
トップk予測は、マシンラーニング・アズ・ア・サービス、レコメンダ・システム、Web検索など、多くの現実世界のアプリケーションで使用されている。
我々の研究はランダム化平滑化に基づいており、入力をランダム化することで、証明可能なロバストな分類器を構築する。
例えば、攻撃者がテスト画像の5ピクセルを任意に摂動できる場合に、ImageNet上で69.2%の認定トップ3精度を達成する分類器を構築することができる。
論文 参考訳（メタデータ） (2020-11-15T21:34:44Z) - AutoCP: Automated Pipelines for Accurate Prediction Intervals [84.16181066107984]
本稿では、自動予測のための自動機械学習(Automatic Machine Learning for Conformal Prediction, AutoCP)というAutoMLフレームワークを提案する。
最高の予測モデルを選択しようとする慣れ親しんだAutoMLフレームワークとは異なり、AutoCPは、ユーザが指定したターゲットカバレッジ率を達成する予測間隔を構築する。
さまざまなデータセットでAutoCPをテストしたところ、ベンチマークアルゴリズムを著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2020-06-24T23:13:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。