論文の概要: Adaptive Set-Mass Calibration with Conformal Prediction
- arxiv url: http://arxiv.org/abs/2505.15437v2
- Date: Thu, 16 Oct 2025 13:39:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-17 16:37:10.369905
- Title: Adaptive Set-Mass Calibration with Conformal Prediction
- Title(参考訳): コンフォーマル予測を用いた適応型セットマス校正
- Authors: Daniil Kazantsev, Mohsen Guizani, Eric Moulines, Maxim Panov, Nikita Kotelevskii,
- Abstract要約: 提案手法は,まず共形予測から始まり,所望のカバレッジを与えるラベルの集合を得る。
次に、共形制約に合わせて、質量正規化と温度スケーリングに基づくルールの2つの簡単なポストホックキャリブレータをインスタンス化する。
- 参考スコア(独自算出の注目度): 60.47079469141295
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Reliable probabilities are critical in high-risk applications, yet common calibration criteria (confidence, class-wise) are only necessary for full distributional calibration, and post-hoc methods often lack distribution-free guarantees. We propose a set-based notion of calibration, cumulative mass calibration, and a corresponding empirical error measure: the Cumulative Mass Calibration Error (CMCE). We develop a new calibration procedure that starts with conformal prediction to obtain a set of labels that gives the desired coverage. We then instantiate two simple post-hoc calibrators: a mass normalization and a temperature scaling-based rule, tuned to the conformal constraint. On multi-class image benchmarks, especially with a large number of classes, our methods consistently improve CMCE and standard metrics (ECE, cw-ECE, MCE) over baselines, delivering a practical, scalable framework with theoretical guarantees.
- Abstract(参考訳): 信頼性の高い確率はリスクの高いアプリケーションでは重要であるが、完全な分布キャリブレーションには一般的なキャリブレーション基準(信頼度、クラスワイド)が必須であり、ポストホック法は分布のない保証を欠くことが多い。
本稿では, 累積質量校正法, 累積質量校正法, および累積質量校正誤差(CMCE)に関する実験的誤差尺度を提案する。
提案手法は,まず共形予測から始まり,所望のカバレッジを与えるラベルの集合を得る。
次に、共形制約に合わせて、質量正規化と温度スケーリングに基づくルールの2つの簡単なポストホックキャリブレータをインスタンス化する。
マルチクラス画像ベンチマークでは、特に多数のクラスにおいて、CMCEと標準メトリクス(ECE、cw-ECE、MCE)をベースラインで一貫して改善し、理論的保証のある実用的なスケーラブルなフレームワークを提供する。
関連論文リスト
- Scalable Utility-Aware Multiclass Calibration [53.28176049547449]
ユーティリティキャリブレーション(英: Utility calibration)は、特定のユーティリティ関数に対するキャリブレーション誤差を測定する一般的なフレームワークである。
我々は、このフレームワークが既存のキャリブレーションメトリクスを統一し、再解釈する方法を実証する。
論文 参考訳(メタデータ) (2025-10-29T12:32:14Z) - When Can We Reuse a Calibration Set for Multiple Conformal Predictions? [0.0]
我々は,e-conformal predictionとHoeffdingの不等式が組み合わさって,単一校正集合の繰り返し使用を可能にすることを示す。
我々は、ディープニューラルネットワークをトレーニングし、キャリブレーションセットを使用して、Hoeffdingの補正を推定する。
この補正により、修正マルコフの不等式を適用することができ、定量化された信頼度を持つ予測セットを構築することができる。
論文 参考訳(メタデータ) (2025-06-24T14:57:25Z) - Semi-Supervised Conformal Prediction With Unlabeled Nonconformity Score [19.15617038007535]
コンフォーマル予測(CP)は不確実性定量化のための強力なフレームワークである。
ラベル付きデータがしばしば制限される現実世界のアプリケーションでは、標準CPはカバレッジの偏りを生じさせ、非常に大きな予測セットを出力する。
ラベル付きデータとラベルなしデータの両方を利用してキャリブレーションを行うSemiCPを提案する。
論文 参考訳(メタデータ) (2025-05-27T12:57:44Z) - Sparse Activations as Conformal Predictors [19.298282860984116]
共形予測と疎ソフトマックス様変換の新たな関連性を見いだす。
本研究では, キャリブレーションプロセスが広く使用されている温度スケーリング法に対応するように, 分類のための新しい非整合性スコアを導入する。
提案手法は, 適用範囲, 効率, 適応性の観点から, 競合する結果が得られることを示す。
論文 参考訳(メタデータ) (2025-02-20T17:53:41Z) - Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。
本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-01-17T12:01:56Z) - Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳(メタデータ) (2024-10-13T15:37:11Z) - Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
生成モデルは出力に対する厳密な統計的保証を欠いている。
厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。
このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
論文 参考訳(メタデータ) (2024-10-02T15:26:52Z) - A conformalized learning of a prediction set with applications to medical imaging classification [14.304858613146536]
本稿では,真のラベルを含む予測セットをユーザが特定した確率で生成するアルゴリズムを提案する。
提案アルゴリズムをいくつかの標準医用画像分類データセットに適用した。
論文 参考訳(メタデータ) (2024-08-09T12:49:04Z) - Does confidence calibration improve conformal prediction? [10.340903334800787]
適応型共形予測において、電流信頼度校正法がより大きな予測セットをもたらすことを示す。
温度値の役割を調べることにより,高信頼度予測が適応型等角予測の効率を高めることが確認された。
本稿では,予測セットの効率を向上させるために,新しい損失関数を備えた温度スケーリングの変種である Conformal Temperature Scaling (ConfTS) を提案する。
論文 参考訳(メタデータ) (2024-02-06T19:27:48Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳(メタデータ) (2023-10-31T06:19:40Z) - Test-time Recalibration of Conformal Predictors Under Distribution Shift
Based on Unlabeled Examples [30.61588337557343]
コンフォーマル予測器は、ユーザが特定した確率で一連のクラスを計算することで不確実性の推定を提供する。
本研究では,自然分布シフト下での優れた不確実性推定を行う手法を提案する。
論文 参考訳(メタデータ) (2022-10-09T04:46:00Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳(メタデータ) (2021-02-22T07:22:12Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳(メタデータ) (2021-02-11T18:59:11Z) - Mitigating Bias in Calibration Error Estimation [28.46667300490605]
本研究では,ECE_binが真の校正誤差を体系的に過小評価または過大評価できることを示すシミュレーションフレームワークを提案する。
ECE_sweep は、ビンの数をできるだけ多く選択する簡単な代替校正誤差メトリックを提案します。
論文 参考訳(メタデータ) (2020-12-15T23:28:06Z) - Uncertainty Quantification and Deep Ensembles [79.4957965474334]
ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。
そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。
このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
論文 参考訳(メタデータ) (2020-07-17T07:32:24Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳(メタデータ) (2020-06-29T21:50:07Z) - Mix-n-Match: Ensemble and Compositional Methods for Uncertainty
Calibration in Deep Learning [21.08664370117846]
我々は,Mix-n-Matchキャリブレーション戦略が,データ効率と表現力を大幅に向上することを示す。
標準評価プラクティスの潜在的な問題も明らかにします。
我々の手法はキャリブレーションと評価タスクの両方において最先端のソリューションより優れている。
論文 参考訳(メタデータ) (2020-03-16T17:00:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。