論文の概要: When Can We Reuse a Calibration Set for Multiple Conformal Predictions?

• arxiv url: http://arxiv.org/abs/2506.19689v1
• Date: Tue, 24 Jun 2025 14:57:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.684838
• Title: When Can We Reuse a Calibration Set for Multiple Conformal Predictions?
• Title（参考訳）: 多重等角予測のための校正セットの再利用は可能か?
• Authors: A. A. Balinsky, A. D. Balinsky,
• Abstract要約: 我々は,e-conformal predictionとHoeffdingの不等式が組み合わさって,単一校正集合の繰り返し使用を可能にすることを示す。 我々は、ディープニューラルネットワークをトレーニングし、キャリブレーションセットを使用して、Hoeffdingの補正を推定する。 この補正により、修正マルコフの不等式を適用することができ、定量化された信頼度を持つ予測セットを構築することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable uncertainty quantification is crucial for the trustworthiness of machine learning applications. Inductive Conformal Prediction (ICP) offers a distribution-free framework for generating prediction sets or intervals with user-specified confidence. However, standard ICP guarantees are marginal and typically require a fresh calibration set for each new prediction to maintain their validity. This paper addresses this practical limitation by demonstrating how e-conformal prediction, in conjunction with Hoeffding's inequality, can enable the repeated use of a single calibration set with a high probability of preserving the desired coverage. Through a case study on the CIFAR-10 dataset, we train a deep neural network and utilise a calibration set to estimate a Hoeffding correction. This correction allows us to apply a modified Markov's inequality, leading to the construction of prediction sets with quantifiable confidence. Our results illustrate the feasibility of maintaining provable performance in conformal prediction while enhancing its practicality by reducing the need for repeated calibration. The code for this work is publicly available.
• Abstract（参考訳）: 信頼性の高い不確実性定量化は、機械学習アプリケーションの信頼性に不可欠である。 Inductive Conformal Prediction (ICP)は、ユーザ特定信頼度で予測セットや間隔を生成するための、配布不要のフレームワークを提供する。 しかし、標準ICP保証は限界であり、その妥当性を維持するためには、新しい予測ごとに新しいキャリブレーションセットが必要である。 本稿では,e-conformal predictionとHoeffdingの不等式を併用して,所望のカバレッジを保存する確率の高い単一キャリブレーションセットの繰り返し使用を可能にする方法を示す。 CIFAR-10データセットのケーススタディを通じて、ディープニューラルネットワークをトレーニングし、キャリブレーションセットを使用してHoeffding補正を推定する。 この補正により、修正マルコフの不等式を適用することができ、定量化された信頼度を持つ予測セットを構築することができる。 本研究は, 繰り返し校正の必要性を低減し, 実用性を高めつつ, 共形予測における証明可能な性能維持の実現可能性を示すものである。 この作業のコードは公開されています。

関連論文リスト

• Adaptive Temperature Scaling with Conformal Prediction [47.51764759462074]
  本稿では,共形予測集合の要素にキャリブレーションされた確率を割り当てる最初の手法を提案する。 本手法では,適応キャリブレーション問題として,所望のカバレッジレベルに適合する入力固有温度パラメータを選択する。
  論文  参考訳（メタデータ） (2025-05-21T12:18:15Z)
• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Beyond Conformal Predictors: Adaptive Conformal Inference with Confidence Predictors [0.0]
  コンフォーマル予測は、ユーザ指定の重要度レベルで有効な予測セットを保証するために、交換可能なデータを必要とする。 適応共形推論 (Adaptive conformal inference, ACI) は、この制限に対処するために導入された。 我々は、ACIが共形予測器を必要とせず、より一般的な信頼性予測器で実装可能であることを示す。
  論文  参考訳（メタデータ） (2024-09-23T21:02:33Z)
• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Few-Shot Calibration of Set Predictors via Meta-Learned Cross-Validation-Based Conformal Prediction [33.33774397643919]
  本稿では,設定した予測サイズを減らすことを目的としたメタ学習ソリューションを提案する。 より効率的なバリデーションベースのCPではなく、クロスバリデーションベースのCP上に構築されている。 これは、厳格なタスク・マージナル保証を減らすのではなく、正式なタスク毎のキャリブレーション保証を保持する。
  論文  参考訳（メタデータ） (2022-10-06T17:21:03Z)
• Better Uncertainty Calibration via Proper Scores for Classification and Beyond [15.981380319863527]
  各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。 この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
  論文  参考訳（メタデータ） (2022-03-15T12:46:08Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。