論文の概要: PAC-Bayes Generalization Certificates for Learned Inductive Conformal Prediction

• arxiv url: http://arxiv.org/abs/2312.04658v1
• Date: Thu, 7 Dec 2023 19:40:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 17:06:54.028635
• Title: PAC-Bayes Generalization Certificates for Learned Inductive Conformal Prediction
• Title（参考訳）: 学習インダクティブ共形予測のためのpac-bayes一般化証明書
• Authors: Apoorva Sharma, Sushant Veer, Asher Hancock, Heng Yang, Marco Pavone, Anirudha Majumdar
• Abstract要約: 我々はPAC-Bayes理論を用いて、集合値予測器のカバレッジと効率の一般化境界を求める。 我々はこれらの理論結果を活用し、キャリブレーションデータを用いてモデルのパラメータやスコア関数を微調整する実用的なアルゴリズムを提供する。 我々は, 回帰および分類タスクに対するアプローチの評価を行い, ICP 上の Hoeffding bound-based PAC 保証を用いて, 基準値の調整を行った。
• 参考スコア（独自算出の注目度）: 27.434939269672288
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Inductive Conformal Prediction (ICP) provides a practical and effective approach for equipping deep learning models with uncertainty estimates in the form of set-valued predictions which are guaranteed to contain the ground truth with high probability. Despite the appeal of this coverage guarantee, these sets may not be efficient: the size and contents of the prediction sets are not directly controlled, and instead depend on the underlying model and choice of score function. To remedy this, recent work has proposed learning model and score function parameters using data to directly optimize the efficiency of the ICP prediction sets. While appealing, the generalization theory for such an approach is lacking: direct optimization of empirical efficiency may yield prediction sets that are either no longer efficient on test data, or no longer obtain the required coverage on test data. In this work, we use PAC-Bayes theory to obtain generalization bounds on both the coverage and the efficiency of set-valued predictors which can be directly optimized to maximize efficiency while satisfying a desired test coverage. In contrast to prior work, our framework allows us to utilize the entire calibration dataset to learn the parameters of the model and score function, instead of requiring a separate hold-out set for obtaining test-time coverage guarantees. We leverage these theoretical results to provide a practical algorithm for using calibration data to simultaneously fine-tune the parameters of a model and score function while guaranteeing test-time coverage and efficiency of the resulting prediction sets. We evaluate the approach on regression and classification tasks, and outperform baselines calibrated using a Hoeffding bound-based PAC guarantee on ICP, especially in the low-data regime.
• Abstract（参考訳）: Inductive Conformal Prediction (ICP) は、基底真理を高い確率で含むことが保証される集合値予測の形で、不確実性推定を伴うディープラーニングモデルを実現するための実用的で効果的なアプローチを提供する。 このカバレッジ保証の魅力にもかかわらず、これらのセットは効率的ではないかもしれない:予測セットのサイズと内容は直接制御されておらず、代わりに、基礎となるモデルとスコア関数の選択に依存する。 これを解決するために、最近の研究は、ICP予測セットの効率を直接最適化するためにデータを用いた学習モデルと関数パラメータのスコアリングを提案している。 経験的効率の直接的な最適化は、テストデータではもはや効率的でない予測セットを得るか、テストデータで必要となるカバレッジを得ることができない。 本研究では、pac-bayes理論を用いて、テストカバレッジを満足しながら効率を最大化するために直接最適化できる集合値予測器のカバレッジと効率の両方の一般化限界を得る。 従来の作業とは対照的に,我々のフレームワークでは,テスト時間カバレッジ保証を得るために別個のホールドアウトセットを必要とせず,キャリブレーションデータセット全体のモデルパラメータとスコア関数の学習を可能にする。 これらの理論結果を活用し、キャリブレーションデータを用いてモデルのパラメータとスコア関数を同時に微調整し、結果の予測セットの試験時間カバレッジと効率を保証できる実用的なアルゴリズムを提供する。 回帰および分類タスクに対するアプローチの評価を行い,特に低データ体制において,Hueffding 境界ベース PAC 保証を用いて評価した。

関連論文リスト

• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Online scalable Gaussian processes with conformal prediction for guaranteed coverage [32.21093722162573]
  結果として生じる不確実な値の整合性は、学習関数がGPモデルで指定された特性に従うという前提に基づいている。 提案するGPは,分散のない後処理フレームワークである共形予測(CP)を用いて,有意なカバレッジで予測セットを生成する。
  論文  参考訳（メタデータ） (2024-10-07T19:22:15Z)
• The Penalized Inverse Probability Measure for Conformal Classification [0.5172964916120902]
  この研究は、Pinalized Inverse Probability(PIP)の非整合性スコアと、その正規化バージョンRePIPを導入し、効率性と情報性の両方を共同で最適化する。 この研究は、PIPに基づく共形分類器が、他の非整合性対策と比較して正確に望ましい振る舞いを示し、情報性と効率のバランスを保っていることを示す。
  論文  参考訳（メタデータ） (2024-06-13T07:37:16Z)
• Stratified Prediction-Powered Inference for Hybrid Language Model Evaluation [62.2436697657307]
  予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。 我々はStratPPI(Stratified Prediction-Powered Inference)という手法を提案する。 単純なデータ階層化戦略を用いることで,基礎的なPPI推定精度を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2024-06-06T17:37:39Z)
• Conformal Prediction with Learned Features [22.733758606168873]
  本稿では,予測セットの条件付き妥当性を向上させるために,PLCP(Partition Learning Conformal Prediction)を提案する。 我々は,市販の機械学習モデルを用いて,勾配の交互化によるPLCPを効率的に実装する。 4つの実世界および合成データセットに対する実験結果から,PLCPの優れた性能を示した。
  論文  参考訳（メタデータ） (2024-04-26T15:43:06Z)
• Variational Inference with Coverage Guarantees in Simulation-Based Inference [18.818573945984873]
  コンフォーマル化補正ニューラル変分推論(CANVI)を提案する。 CANVIは各候補に基づいて共形予測器を構築し、予測効率と呼ばれる計量を用いて予測器を比較し、最も効率的な予測器を返す。 我々は,CANVIが生成する領域の予測効率の低い境界を証明し,その近似に基づいて,後部近似の品質と予測領域の予測効率の関係について検討する。
  論文  参考訳（メタデータ） (2023-05-23T17:24:04Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。