論文の概要: PAC-Bayes Generalization Certificates for Learned Inductive Conformal
Prediction
- arxiv url: http://arxiv.org/abs/2312.04658v1
- Date: Thu, 7 Dec 2023 19:40:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 17:06:54.028635
- Title: PAC-Bayes Generalization Certificates for Learned Inductive Conformal
Prediction
- Title(参考訳): 学習インダクティブ共形予測のためのpac-bayes一般化証明書
- Authors: Apoorva Sharma, Sushant Veer, Asher Hancock, Heng Yang, Marco Pavone,
Anirudha Majumdar
- Abstract要約: 我々はPAC-Bayes理論を用いて、集合値予測器のカバレッジと効率の一般化境界を求める。
我々はこれらの理論結果を活用し、キャリブレーションデータを用いてモデルのパラメータやスコア関数を微調整する実用的なアルゴリズムを提供する。
我々は, 回帰および分類タスクに対するアプローチの評価を行い, ICP 上の Hoeffding bound-based PAC 保証を用いて, 基準値の調整を行った。
- 参考スコア(独自算出の注目度): 27.434939269672288
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Inductive Conformal Prediction (ICP) provides a practical and effective
approach for equipping deep learning models with uncertainty estimates in the
form of set-valued predictions which are guaranteed to contain the ground truth
with high probability. Despite the appeal of this coverage guarantee, these
sets may not be efficient: the size and contents of the prediction sets are not
directly controlled, and instead depend on the underlying model and choice of
score function. To remedy this, recent work has proposed learning model and
score function parameters using data to directly optimize the efficiency of the
ICP prediction sets. While appealing, the generalization theory for such an
approach is lacking: direct optimization of empirical efficiency may yield
prediction sets that are either no longer efficient on test data, or no longer
obtain the required coverage on test data. In this work, we use PAC-Bayes
theory to obtain generalization bounds on both the coverage and the efficiency
of set-valued predictors which can be directly optimized to maximize efficiency
while satisfying a desired test coverage. In contrast to prior work, our
framework allows us to utilize the entire calibration dataset to learn the
parameters of the model and score function, instead of requiring a separate
hold-out set for obtaining test-time coverage guarantees. We leverage these
theoretical results to provide a practical algorithm for using calibration data
to simultaneously fine-tune the parameters of a model and score function while
guaranteeing test-time coverage and efficiency of the resulting prediction
sets. We evaluate the approach on regression and classification tasks, and
outperform baselines calibrated using a Hoeffding bound-based PAC guarantee on
ICP, especially in the low-data regime.
- Abstract(参考訳): Inductive Conformal Prediction (ICP) は、基底真理を高い確率で含むことが保証される集合値予測の形で、不確実性推定を伴うディープラーニングモデルを実現するための実用的で効果的なアプローチを提供する。
このカバレッジ保証の魅力にもかかわらず、これらのセットは効率的ではないかもしれない:予測セットのサイズと内容は直接制御されておらず、代わりに、基礎となるモデルとスコア関数の選択に依存する。
これを解決するために、最近の研究は、ICP予測セットの効率を直接最適化するためにデータを用いた学習モデルと関数パラメータのスコアリングを提案している。
経験的効率の直接的な最適化は、テストデータではもはや効率的でない予測セットを得るか、テストデータで必要となるカバレッジを得ることができない。
本研究では、pac-bayes理論を用いて、テストカバレッジを満足しながら効率を最大化するために直接最適化できる集合値予測器のカバレッジと効率の両方の一般化限界を得る。
従来の作業とは対照的に,我々のフレームワークでは,テスト時間カバレッジ保証を得るために別個のホールドアウトセットを必要とせず,キャリブレーションデータセット全体のモデルパラメータとスコア関数の学習を可能にする。
これらの理論結果を活用し、キャリブレーションデータを用いてモデルのパラメータとスコア関数を同時に微調整し、結果の予測セットの試験時間カバレッジと効率を保証できる実用的なアルゴリズムを提供する。
回帰および分類タスクに対するアプローチの評価を行い,特に低データ体制において,Hueffding 境界ベース PAC 保証を用いて評価した。
関連論文リスト
- Efficient adjustment for complex covariates: Gaining efficiency with
DOPE [56.537164957672715]
共変量によって表現される情報のサブセットを調整可能なフレームワークを提案する。
理論的な結果に基づいて,平均処理効果(ATE)の効率的な評価を目的とした,デバイアスドアウトカム適応確率推定器(DOPE)を提案する。
その結果,DOPE は様々な観測環境において ATE 推定のための効率的かつ堅牢な手法を提供することがわかった。
論文 参考訳(メタデータ) (2024-02-20T13:02:51Z) - PPI++: Efficient Prediction-Powered Inference [35.29429206559602]
PPI++: 小さなラベル付きデータセットと、通常より大きな機械学習予測データセットに基づく推定と推測の方法論を提案する。
これらの手法は、利用可能な予測の品質に自動的に適応し、容易に計算可能な信頼セットを得る。
PPI++は予測駆動推論(PPI)に基づいており、同じ問題設定をターゲットとし、計算効率と統計効率を改善している。
論文 参考訳(メタデータ) (2023-11-02T17:59:04Z) - Provably Efficient Bayesian Optimization with Unbiased Gaussian Process
Hyperparameter Estimation [52.035894372374756]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-12T03:35:45Z) - Amortized Variational Inference with Coverage Guarantees [20.189430920135873]
Amortized variational inference(英語版)は、新しい観測によって高速に計算できる後部近似を生成する。
コンフォーマル化補正ニューラル変分推論(CANVI)を提案する。
CANVIは各候補に基づいて共形予測器を構築し、予測効率と呼ばれる計量を用いて予測器を比較し、最も効率的な予測器を返す。
論文 参考訳(メタデータ) (2023-05-23T17:24:04Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳(メタデータ) (2023-02-23T18:57:14Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳(メタデータ) (2022-02-22T18:37:23Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Optimized conformal classification using gradient descent approximation [0.2538209532048866]
コンフォーマル予測器は、ユーザ定義の信頼性レベルで予測を行うことができる。
我々は,共形予測器を直接最大予測効率で訓練する手法を検討する。
実世界の複数のデータセット上で本手法を検証し,本手法が有望であることを示す。
論文 参考訳(メタデータ) (2021-05-24T13:14:41Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳(メタデータ) (2020-05-21T16:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。