論文の概要: Distribution-Free, Risk-Controlling Prediction Sets
- arxiv url: http://arxiv.org/abs/2101.02703v2
- Date: Sat, 30 Jan 2021 03:48:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-10 13:51:54.540878
- Title: Distribution-Free, Risk-Controlling Prediction Sets
- Title(参考訳): 分布自由リスク制御予測セット
- Authors: Stephen Bates and Anastasios Angelopoulos and Lihua Lei and Jitendra
Malik and Michael I. Jordan
- Abstract要約: ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。
提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
- 参考スコア(独自算出の注目度): 112.9186453405701
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While improving prediction accuracy has been the focus of machine learning in
recent years, this alone does not suffice for reliable decision-making.
Deploying learning systems in consequential settings also requires calibrating
and communicating the uncertainty of predictions. To convey instance-wise
uncertainty for prediction tasks, we show how to generate set-valued
predictions from a black-box predictor that control the expected loss on future
test points at a user-specified level. Our approach provides explicit
finite-sample guarantees for any dataset by using a holdout set to calibrate
the size of the prediction sets. This framework enables simple,
distribution-free, rigorous error control for many tasks, and we demonstrate it
in five large-scale machine learning problems: (1) classification problems
where some mistakes are more costly than others; (2) multi-label
classification, where each observation has multiple associated labels; (3)
classification problems where the labels have a hierarchical structure; (4)
image segmentation, where we wish to predict a set of pixels containing an
object of interest; and (5) protein structure prediction. Lastly, we discuss
extensions to uncertainty quantification for ranking, metric learning and
distributionally robust learning.
- Abstract(参考訳): 近年,予測精度の向上が機械学習の焦点となっているが,信頼性の高い意思決定には十分ではない。
一連の設定で学習システムをデプロイするには、予測の不確実性を校正し、コミュニケーションする必要がある。
予測タスクのインスタンスワイズ不確実性を示すために,ユーザ指定レベルでの将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。
提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
This framework enables simple, distribution-free, rigorous error control for many tasks, and we demonstrate it in five large-scale machine learning problems: (1) classification problems where some mistakes are more costly than others; (2) multi-label classification, where each observation has multiple associated labels; (3) classification problems where the labels have a hierarchical structure; (4) image segmentation, where we wish to predict a set of pixels containing an object of interest; and (5) protein structure prediction.
最後に,ランキング,メトリック学習,分散的ロバスト学習における不確実性定量化の拡張について論じる。
関連論文リスト
- PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳(メタデータ) (2023-10-19T17:57:57Z) - Post-selection Inference for Conformal Prediction: Trading off Coverage
for Precision [0.0]
伝統的に、共形予測推論はデータに依存しない発見レベルの仕様を必要とする。
我々は,データ依存的誤発見レベルを考慮した同時共形推論を開発する。
論文 参考訳(メタデータ) (2023-04-12T20:56:43Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳(メタデータ) (2023-02-23T18:57:14Z) - A Review of Uncertainty Calibration in Pretrained Object Detectors [5.440028715314566]
多クラス設定における事前訓練対象検出アーキテクチャの不確実性校正特性について検討する。
公平でバイアスのない,繰り返し可能な評価を実現するためのフレームワークを提案する。
検出器のキャリブレーションが低い理由について、新しい知見を提供する。
論文 参考訳(メタデータ) (2022-10-06T14:06:36Z) - Query-Adaptive Predictive Inference with Partial Labels [0.0]
ブラックボックス予測モデル上に部分的にラベル付けされたデータのみを用いて予測集合を構築する新しい手法を提案する。
我々の実験は、予測セット構築の有効性と、よりフレキシブルなユーザ依存損失フレームワークの魅力を強調した。
論文 参考訳(メタデータ) (2022-06-15T01:48:42Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳(メタデータ) (2022-02-22T18:37:23Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - Predictive Inference with Weak Supervision [3.1925030748447747]
コンフォメーション予測フレームワークを開発することにより,部分監督と検証のギャップを埋める。
我々は、新しいカバレッジと予測妥当性の概念を導入し、いくつかのアプリケーションシナリオを開発します。
我々は、新しいカバレッジ定義がより厳密で情報的な(しかし有効な)信頼セットを可能にするという仮説を裏付ける。
論文 参考訳(メタデータ) (2022-01-20T17:26:52Z) - Few-shot Conformal Prediction with Auxiliary Tasks [29.034390810078172]
対象タスクがトレーニングに利用可能なデータに制限がある場合に,コンフォメーション予測を行うための新しい手法を開発した。
共形予測をメタラーニングパラダイムとしてキャスティングすることで、望ましい限界保証を維持しつつ、より厳密な予測セットを得る。
本手法は,自然言語処理,コンピュータビジョン,薬物発見のための計算化学において,数発の分類と回帰タスクにまたがる効果を示す。
論文 参考訳(メタデータ) (2021-02-17T17:46:57Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳(メタデータ) (2021-02-11T18:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。