論文の概要: Stochastic Online Conformal Prediction with Semi-Bandit Feedback
- arxiv url: http://arxiv.org/abs/2405.13268v2
- Date: Wed, 02 Oct 2024 21:46:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-05 03:34:10.806711
- Title: Stochastic Online Conformal Prediction with Semi-Bandit Feedback
- Title(参考訳): 半帯域フィードバックを用いた確率的オンラインコンフォーマル予測
- Authors: Haosen Ge, Hamsa Bastani, Osbert Bastani,
- Abstract要約: 実例が時間とともに現れるオンライン学習環境について検討し、その目標は予測セットを動的に構築することである。
本稿では,この設定を対象とする新しい共形予測アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 29.334511328067777
- License:
- Abstract: Conformal prediction has emerged as an effective strategy for uncertainty quantification by modifying a model to output sets of labels instead of a single label. These prediction sets come with the guarantee that they contain the true label with high probability. However, conformal prediction typically requires a large calibration dataset of i.i.d. examples. We consider the online learning setting, where examples arrive over time, and the goal is to construct prediction sets dynamically. Departing from existing work, we assume semi-bandit feedback, where we only observe the true label if it is contained in the prediction set. For instance, consider calibrating a document retrieval model to a new domain; in this setting, a user would only be able to provide the true label if the target document is in the prediction set of retrieved documents. We propose a novel conformal prediction algorithm targeted at this setting, and prove that it obtains sublinear regret compared to the optimal conformal predictor. We evaluate our algorithm on a retrieval task, an image classification task, and an auction price-setting task, and demonstrate that it empirically achieves good performance compared to several baselines.
- Abstract(参考訳): コンフォーマル予測は、単一のラベルではなくラベルの集合を出力するモデルを変更することによって、不確実性定量化の効果的な戦略として登場した。
これらの予測セットは、それらが高い確率で真のラベルを含むことを保証する。
しかし、共形予測は通常、例の大規模な校正データセットを必要とする。
実例が時間とともに現れるオンライン学習環境について検討し、その目標は予測セットを動的に構築することである。
既存の作業とは別に、半帯域フィードバックを仮定し、予測セットに含まれる場合のみ真のラベルを観測する。
例えば、文書検索モデルを新しいドメインに校正することを考える。この設定では、ターゲット文書が検索されたドキュメントの予測セットにある場合にのみ、真のラベルを提供することができる。
本稿では,この設定を対象とする新しい共形予測アルゴリズムを提案する。
検索タスク,画像分類タスク,オークション価格設定タスクにおいて,提案アルゴリズムを評価し,いくつかのベースラインと比較して実験的に優れた性能を発揮することを示す。
関連論文リスト
- Uncertainty Quantification for Neurosymbolic Programs via Compositional Conformal Prediction [36.88661670156255]
コンフォーマル予測は、機械学習における不確実性を定量化するための有望な戦略として登場した。
本稿では,共形予測をニューロシンボリックプログラムに適用するための新しい枠組みを提案する。
MNISTとMS-COCOの画像を入力として利用するプログラムについて,本手法の評価を行った。
論文 参考訳(メタデータ) (2024-05-24T20:15:53Z) - Selecting informative conformal prediction sets with false coverage rate control [0.873811641236639]
コンフォーマル手法は、任意の機械学習予測器に対して有限サンプルカバレッジで結果/ラベルの予測セットを提供する。
分析者は,予測セットが十分小さいサンプルのみを情報的とみなすことができる分類設定と回帰設定の両方を考慮する。
本研究では,このような情報的共形予測セットを構築するための統一的なフレームワークを開発し,選択したサンプルの偽カバレッジ率(FCR)を制御した。
論文 参考訳(メタデータ) (2024-03-18T22:35:43Z) - PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳(メタデータ) (2023-10-19T17:57:57Z) - Conformal Prediction for Deep Classifier via Label Ranking [29.784336674173616]
コンフォーマル予測(Conformal prediction)は、予測セットを所望のカバレッジ保証で生成する統計フレームワークである。
我々は、$textitSorted Adaptive Prediction Sets$ (SAPS)という新しいアルゴリズムを提案する。
SAPSは最大ソフトマックス確率を除いて全ての確率値を捨てる。
論文 参考訳(メタデータ) (2023-10-10T08:54:14Z) - Predictive Inference with Feature Conformal Prediction [80.77443423828315]
本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。
理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。
提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
論文 参考訳(メタデータ) (2022-10-01T02:57:37Z) - Practical Adversarial Multivalid Conformal Prediction [27.179891682629183]
逐次予測のための一般的な共形予測法を提案する。
相手が選択したデータに対して、ターゲットの実証的カバレッジを保証する。
これは計算的に軽量であり、分割共形予測に匹敵する。
論文 参考訳(メタデータ) (2022-06-02T14:33:00Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - Few-shot Conformal Prediction with Auxiliary Tasks [29.034390810078172]
対象タスクがトレーニングに利用可能なデータに制限がある場合に,コンフォメーション予測を行うための新しい手法を開発した。
共形予測をメタラーニングパラダイムとしてキャスティングすることで、望ましい限界保証を維持しつつ、より厳密な予測セットを得る。
本手法は,自然言語処理,コンピュータビジョン,薬物発見のための計算化学において,数発の分類と回帰タスクにまたがる効果を示す。
論文 参考訳(メタデータ) (2021-02-17T17:46:57Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳(メタデータ) (2021-02-11T18:59:11Z) - Uncertainty Sets for Image Classifiers using Conformal Prediction [112.54626392838163]
本稿では,任意の分類器を修飾して真のラベルを含む予測集合を,90%などのユーザ指定確率で出力するアルゴリズムを提案する。
このアルゴリズムはPlatetスケーリングのようにシンプルで高速だが、すべてのモデルとデータセットに対して正式な有限サンプルカバレッジを保証する。
提案手法は,Plattスケーリング後の可逆クラスの小さなスコアを正規化することにより,より安定した予測セットを与えるために,既存の共形予測アルゴリズムを改良する。
論文 参考訳(メタデータ) (2020-09-29T17:58:04Z) - AutoCP: Automated Pipelines for Accurate Prediction Intervals [84.16181066107984]
本稿では、自動予測のための自動機械学習(Automatic Machine Learning for Conformal Prediction, AutoCP)というAutoMLフレームワークを提案する。
最高の予測モデルを選択しようとする慣れ親しんだAutoMLフレームワークとは異なり、AutoCPは、ユーザが指定したターゲットカバレッジ率を達成する予測間隔を構築する。
さまざまなデータセットでAutoCPをテストしたところ、ベンチマークアルゴリズムを著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2020-06-24T23:13:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。