論文の概要: Quantifying and Improving Adaptivity in Conformal Prediction through Input Transformations
- arxiv url: http://arxiv.org/abs/2511.11472v2
- Date: Mon, 17 Nov 2025 03:21:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:22.68258
- Title: Quantifying and Improving Adaptivity in Conformal Prediction through Input Transformations
- Title(参考訳): 入力変換による等角予測における適応性の定量化と改善
- Authors: Sooyong Jang, Insup Lee,
- Abstract要約: コンフォーマル予測は、単一点予測の代わりにラベルの集合を構成する。
具体的困難への適応性は重要な特性である。
本稿では,推定困難度でサンプルをグループ化し,グループ条件の共形予測を適用した適応予測アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 5.600609116784786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conformal prediction constructs a set of labels instead of a single point prediction, while providing a probabilistic coverage guarantee. Beyond the coverage guarantee, adaptiveness to example difficulty is an important property. It means that the method should produce larger prediction sets for more difficult examples, and smaller ones for easier examples. Existing evaluation methods for adaptiveness typically analyze coverage rate violation or average set size across bins of examples grouped by difficulty. However, these approaches often suffer from imbalanced binning, which can lead to inaccurate estimates of coverage or set size. To address this issue, we propose a binning method that leverages input transformations to sort examples by difficulty, followed by uniform-mass binning. Building on this binning, we introduce two metrics to better evaluate adaptiveness. These metrics provide more reliable estimates of coverage rate violation and average set size due to balanced binning, leading to more accurate adaptivity assessment. Through experiments, we demonstrate that our proposed metric correlates more strongly with the desired adaptiveness property compared to existing ones. Furthermore, motivated by our findings, we propose a new adaptive prediction set algorithm that groups examples by estimated difficulty and applies group-conditional conformal prediction. This allows us to determine appropriate thresholds for each group. Experimental results on both (a) an Image Classification (ImageNet) (b) a medical task (visual acuity prediction) show that our method outperforms existing approaches according to the new metrics.
- Abstract(参考訳): コンフォーマル予測は、単一のポイント予測の代わりにラベルのセットを構築し、確率的カバレッジ保証を提供する。
カバレッジの保証を超えて、例の難しさへの適応性は重要な特性である。
これは、より難しい例ではより大きな予測セットを生成し、より簡単な例ではより小さな予測セットを生成することを意味する。
適応性に関する既存の評価手法は、典型的には、難易度でグループ化されたサンプルのビンにまたがるカバレッジレート違反や平均セットサイズを分析する。
しかしながら、これらのアプローチは、しばしば不均衡なバイナリ化に悩まされ、カバー範囲やセットサイズの不正確な推定につながる可能性がある。
この問題に対処するために、入力変換を利用してサンプルのソートを困難にし、続いて一様質量ビンニングを行うビンニング法を提案する。
このビンニングに基づいて、適応性を評価するための2つの指標を導入します。
これらの指標は、バランスの取れたビンニングによるカバレッジレート違反と平均セットサイズをより信頼性の高い推定を提供し、より正確な適応性評価をもたらす。
実験により,提案手法は既存手法と比較して,所望の適応性特性と強く相関することを示した。
さらに,本研究の動機として,推定難易度でサンプルをグループ化し,群条件整合予測を適用した適応予測セットアルゴリズムを提案する。
これにより、各グループの適切なしきい値を決定することができます。
両方の実験結果
(a)画像分類(ImageNet)
b) 医療課題(視力予測)では,本手法が既存の手法よりも優れていることを示す。
関連論文リスト
- Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。
本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-01-17T12:01:56Z) - Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳(メタデータ) (2024-11-04T14:29:02Z) - Stochastic Online Conformal Prediction with Semi-Bandit Feedback [29.334511328067777]
実例が時間とともに現れるオンライン学習環境について検討し、その目標は予測セットを動的に構築することである。
本稿では,この設定を対象とする新しい共形予測アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-05-22T00:42:49Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳(メタデータ) (2022-02-22T18:37:23Z) - Uncertainty Sets for Image Classifiers using Conformal Prediction [112.54626392838163]
本稿では,任意の分類器を修飾して真のラベルを含む予測集合を,90%などのユーザ指定確率で出力するアルゴリズムを提案する。
このアルゴリズムはPlatetスケーリングのようにシンプルで高速だが、すべてのモデルとデータセットに対して正式な有限サンプルカバレッジを保証する。
提案手法は,Plattスケーリング後の可逆クラスの小さなスコアを正規化することにより,より安定した予測セットを与えるために,既存の共形予測アルゴリズムを改良する。
論文 参考訳(メタデータ) (2020-09-29T17:58:04Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳(メタデータ) (2020-06-19T05:08:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。