論文の概要: Stochastic Online Conformal Prediction with Semi-Bandit Feedback

• arxiv url: http://arxiv.org/abs/2405.13268v2
• Date: Wed, 02 Oct 2024 21:46:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-05 03:34:10.806711
• Title: Stochastic Online Conformal Prediction with Semi-Bandit Feedback
• Title（参考訳）: 半帯域フィードバックを用いた確率的オンラインコンフォーマル予測
• Authors: Haosen Ge, Hamsa Bastani, Osbert Bastani,
• Abstract要約: 実例が時間とともに現れるオンライン学習環境について検討し、その目標は予測セットを動的に構築することである。 本稿では,この設定を対象とする新しい共形予測アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 29.334511328067777
• License:
• Abstract: Conformal prediction has emerged as an effective strategy for uncertainty quantification by modifying a model to output sets of labels instead of a single label. These prediction sets come with the guarantee that they contain the true label with high probability. However, conformal prediction typically requires a large calibration dataset of i.i.d. examples. We consider the online learning setting, where examples arrive over time, and the goal is to construct prediction sets dynamically. Departing from existing work, we assume semi-bandit feedback, where we only observe the true label if it is contained in the prediction set. For instance, consider calibrating a document retrieval model to a new domain; in this setting, a user would only be able to provide the true label if the target document is in the prediction set of retrieved documents. We propose a novel conformal prediction algorithm targeted at this setting, and prove that it obtains sublinear regret compared to the optimal conformal predictor. We evaluate our algorithm on a retrieval task, an image classification task, and an auction price-setting task, and demonstrate that it empirically achieves good performance compared to several baselines.
• Abstract（参考訳）: コンフォーマル予測は、単一のラベルではなくラベルの集合を出力するモデルを変更することによって、不確実性定量化の効果的な戦略として登場した。 これらの予測セットは、それらが高い確率で真のラベルを含むことを保証する。 しかし、共形予測は通常、例の大規模な校正データセットを必要とする。 実例が時間とともに現れるオンライン学習環境について検討し、その目標は予測セットを動的に構築することである。 既存の作業とは別に、半帯域フィードバックを仮定し、予測セットに含まれる場合のみ真のラベルを観測する。 例えば、文書検索モデルを新しいドメインに校正することを考える。この設定では、ターゲット文書が検索されたドキュメントの予測セットにある場合にのみ、真のラベルを提供することができる。 本稿では,この設定を対象とする新しい共形予測アルゴリズムを提案する。 検索タスク,画像分類タスク,オークション価格設定タスクにおいて,提案アルゴリズムを評価し,いくつかのベースラインと比較して実験的に優れた性能を発揮することを示す。

関連論文リスト

• Multi-model Ensemble Conformal Prediction in Dynamic Environments [14.188004615463742]
  本稿では,複数の候補モデルから予測セットを作成するために使用されるモデルを選択する適応型共形予測フレームワークを提案する。 提案アルゴリズムは, 有効なカバレッジを維持しつつ, 全区間にわたる強い適応的後悔を達成できることが証明された。
  論文  参考訳（メタデータ） (2024-11-06T05:57:28Z)
• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Conformal Structured Prediction [32.23920437534215]
  本稿では,構造予測設定における共形予測のための一般的な枠組みを提案する。 本稿では,提案アルゴリズムを用いて,複数の領域において所望のカバレッジ保証を満たす予測セットを構築する方法について述べる。
  論文  参考訳（メタデータ） (2024-10-08T18:56:15Z)
• Selecting informative conformal prediction sets with false coverage rate control [0.873811641236639]
  コンフォーマル手法は、任意の機械学習予測器に対して有限サンプルカバレッジで結果/ラベルの予測セットを提供する。 分析者は,予測セットが十分小さいサンプルのみを情報的とみなすことができる分類設定と回帰設定の両方を考慮する。 本研究では,このような情報的共形予測セットを構築するための統一的なフレームワークを開発し,選択したサンプルの偽カバレッジ率(FCR)を制御した。
  論文  参考訳（メタデータ） (2024-03-18T22:35:43Z)
• PAC Prediction Sets Under Label Shift [52.30074177997787]
  予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。 ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。 提案手法を5つのデータセットで評価する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:57Z)
• Predictive Inference with Feature Conformal Prediction [80.77443423828315]
  本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。 理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。 提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-10-01T02:57:37Z)
• Practical Adversarial Multivalid Conformal Prediction [27.179891682629183]
  逐次予測のための一般的な共形予測法を提案する。 相手が選択したデータに対して、ターゲットの実証的カバレッジを保証する。 これは計算的に軽量であり、分割共形予測に匹敵する。
  論文  参考訳（メタデータ） (2022-06-02T14:33:00Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Few-shot Conformal Prediction with Auxiliary Tasks [29.034390810078172]
  対象タスクがトレーニングに利用可能なデータに制限がある場合に,コンフォメーション予測を行うための新しい手法を開発した。 共形予測をメタラーニングパラダイムとしてキャスティングすることで、望ましい限界保証を維持しつつ、より厳密な予測セットを得る。 本手法は,自然言語処理,コンピュータビジョン,薬物発見のための計算化学において,数発の分類と回帰タスクにまたがる効果を示す。
  論文  参考訳（メタデータ） (2021-02-17T17:46:57Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)
• AutoCP: Automated Pipelines for Accurate Prediction Intervals [84.16181066107984]
  本稿では、自動予測のための自動機械学習(Automatic Machine Learning for Conformal Prediction, AutoCP)というAutoMLフレームワークを提案する。 最高の予測モデルを選択しようとする慣れ親しんだAutoMLフレームワークとは異なり、AutoCPは、ユーザが指定したターゲットカバレッジ率を達成する予測間隔を構築する。 さまざまなデータセットでAutoCPをテストしたところ、ベンチマークアルゴリズムを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-06-24T23:13:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。