論文の概要: Active, anytime-valid risk controlling prediction sets

• arxiv url: http://arxiv.org/abs/2406.10490v1
• Date: Sat, 15 Jun 2024 04:03:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 00:12:44.312449
• Title: Active, anytime-valid risk controlling prediction sets
• Title（参考訳）: アクティブかつ有意なリスク制御予測セット
• Authors: Ziyu Xu, Nikos Karampatziakis, Paul Mineiro,
• Abstract要約: 機械学習モデルから統計的に低いリスクを保証された予測セットを生成するためのリスク制御予測セット(RCPS)を開発する。 提案手法はこの概念を逐次設定に拡張し,データを適応的に収集しても保証する。 我々は、予測器(リスク制御保証を提供する機械学習モデル)の使用方法を説明し、RCPSの実用性をさらに向上させる。
• 参考スコア（独自算出の注目度）: 14.981405797741662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rigorously establishing the safety of black-box machine learning models concerning critical risk measures is important for providing guarantees about model behavior. Recently, Bates et. al. (JACM '24) introduced the notion of a risk controlling prediction set (RCPS) for producing prediction sets that are statistically guaranteed low risk from machine learning models. Our method extends this notion to the sequential setting, where we provide guarantees even when the data is collected adaptively, and ensures that the risk guarantee is anytime-valid, i.e., simultaneously holds at all time steps. Further, we propose a framework for constructing RCPSes for active labeling, i.e., allowing one to use a labeling policy that chooses whether to query the true label for each received data point and ensures that the expected proportion of data points whose labels are queried are below a predetermined label budget. We also describe how to use predictors (i.e., the machine learning model for which we provide risk control guarantees) to further improve the utility of our RCPSes by estimating the expected risk conditioned on the covariates. We characterize the optimal choices of label policy and predictor under a fixed label budget and show a regret result that relates the estimation error of the optimal labeling policy and predictor to the wealth process that underlies our RCPSes. Lastly, we present practical ways of formulating label policies and empirically show that our label policies use fewer labels to reach higher utility than naive baseline labeling strategies (e.g., labeling all points, randomly labeling points) on both simulations and real data.
• Abstract（参考訳）: 危険度対策に関するブラックボックス機械学習モデルの安全性を厳格に確立することは、モデル行動に関する保証を提供する上で重要である。 近年、Bates et al (JACM '24) は、機械学習モデルから統計的に低いリスクを保証された予測セットを生成するためのリスク制御予測セット (RCPS) の概念を導入している。 本手法はこの概念を逐次的設定にまで拡張し,データを適応的に収集した場合でも保証を提供し,リスク保証が常に有効であることを保証する。 さらに、アクティブなラベル付けのためのRCPSを構築するためのフレームワーク、すなわち、受信した各データポイントに対して真のラベルを照会するかを選択し、ラベルを照会したデータポイントの期待割合が所定のラベル予算以下であることを保証するラベル付けポリシーを使用できるフレームワークを提案する。 また、予測器(リスク制御保証を提供する機械学習モデル)を用いて、共変量に対する予測リスクを推定することにより、RCPSの有用性をさらに向上させる方法について述べる。 固定ラベル予算下でのラベルポリシーと予測器の最適選択を特徴付けるとともに、最適ラベルポリシーと予測器の推定誤差をRCPSの基盤となる富の過程に関連づけた後悔の結果を示す。 最後に,ラベルポリシーを定式化するための実践的な方法を提案するとともに,ラベルポリシーが,シミュレーションと実データの両方において,単純なベースラインラベリング戦略(例えば,全ての点のラベル付け,ランダムなラベル付け点)よりも有効性を高めるために,ラベルポリシーが少ないことを実証的に示す。

関連論文リスト

• Efficient Online Set-valued Classification with Bandit Feedback [10.882001129426726]
  クラス固有の粒度のカバレッジ保証を提供するBandit Class-specific Conformal Prediction (BCCP)を提案する。 BCCPは、各イテレーションで少ないラベルでラベル付けされたデータの課題を克服し、オンライン意思決定環境への適合予測の信頼性と適用性を一般化する。
  論文  参考訳（メタデータ） (2024-05-07T15:14:51Z)
• PAC Prediction Sets Under Label Shift [52.30074177997787]
  予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。 ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。 提案手法を5つのデータセットで評価する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:57Z)
• Active Learning in the Predict-then-Optimize Framework: A Margin-Based Approach [5.371816551086118]
  本研究では,ラベルのないデータストリームから特徴サンプルのラベルを要求するかどうかを逐次決定する学習手法を開発した。 我々の能動学習法は,予測パラメータによって引き起こされる決定誤差によって直接情報を得る最初の方法である。
  論文  参考訳（メタデータ） (2023-05-11T05:44:36Z)
• Conformal Prediction is Robust to Dispersive Label Noise [26.380955990028294]
  本研究では,不確実性定量化のための強力なツールである共形予測のロバスト性について検討した。 本理論と実験により,ノイズラベルを用いた共形予測およびリスク制御技術が保守的リスクを達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-09-28T17:59:35Z)
• Holdouts set for predictive model updating [0.9749560288448114]
  リスクスコアの更新は、バイアスのあるリスク見積につながる可能性がある。 リスクスコアによって導かれる介入を受けない集団のサブセットであるホールドアウトセット(holdout set)の使用を提案する。 このアプローチによって、N$の人口に対して、総コストが$Oleft(N2/3right)$で成長できることが証明され、一般的な状況では競合する代替手段はない、と論じる。
  論文  参考訳（メタデータ） (2022-02-13T18:04:00Z)
• Delving into Probabilistic Uncertainty for Unsupervised Domain Adaptive Person Re-Identification [54.174146346387204]
  ドメイン適応型人物再識別のための確率的不確実性誘導プログレッシブラベル精錬(P$2$LR)という手法を提案する。 擬似ラベルの不確実性を測定し、ネットワークトレーニングを容易にする定量的基準を確立する。 本手法はDuke2Marketタスクではベースラインが6.5%,Market2MSMTタスクでは2.5%,最先端手法では2.5%を上回った。
  論文  参考訳（メタデータ） (2021-12-28T07:40:12Z)
• Learning with Proper Partial Labels [87.65718705642819]
  部分ラベル学習は、不正確なラベルを持つ弱い教師付き学習の一種である。 この適切な部分ラベル学習フレームワークには,従来の部分ラベル学習設定が数多く含まれていることを示す。 次に、分類リスクの統一的非バイアス推定器を導出する。
  論文  参考訳（メタデータ） (2021-12-23T01:37:03Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
  ラベルのないデータを利用して一般化境界を生成する手法を紹介します。 境界が0-1経験的リスク最小化に有効であることを証明します。 この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
  論文  参考訳（メタデータ） (2021-05-01T17:05:29Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。