論文の概要: Parametric Scaling Law of Tuning Bias in Conformal Prediction

• arxiv url: http://arxiv.org/abs/2502.03023v1
• Date: Wed, 05 Feb 2025 09:26:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:26:30.558841
• Title: Parametric Scaling Law of Tuning Bias in Conformal Prediction
• Title（参考訳）: 等角予測におけるチューニングバイアスのパラメトリックスケーリング法則
• Authors: Hao Zeng, Kangdao Liu, Bingyi Jing, Hongxin Wei,
• Abstract要約: 多くの共形予測手法において、チューニングとキャリブレーションに同じデータセットを活用することで導入されたチューニングバイアス(カバレッジギャップ)が単純なパラメータチューニングには無視できることがわかった。 我々は、チューニングバイアスの定量化と、チューニングバイアスのスケーリング法則の厳密な証明を上界から導出する理論的枠組みを確立する。
• 参考スコア（独自算出の注目度）: 11.970092440023956
• License:
• Abstract: Conformal prediction is a popular framework of uncertainty quantification that constructs prediction sets with coverage guarantees. To uphold the exchangeability assumption, many conformal prediction methods necessitate an additional holdout set for parameter tuning. Yet, the impact of violating this principle on coverage remains underexplored, making it ambiguous in practical applications. In this work, we empirically find that the tuning bias - the coverage gap introduced by leveraging the same dataset for tuning and calibration, is negligible for simple parameter tuning in many conformal prediction methods. In particular, we observe the scaling law of the tuning bias: this bias increases with parameter space complexity and decreases with calibration set size. Formally, we establish a theoretical framework to quantify the tuning bias and provide rigorous proof for the scaling law of the tuning bias by deriving its upper bound. In the end, we discuss how to reduce the tuning bias, guided by the theories we developed.
• Abstract（参考訳）: コンフォーマル予測は、カバレッジ保証付き予測セットを構成する不確実性定量化の一般的なフレームワークである。 交換可能性仮定を維持するために、多くの共形予測手法はパラメータチューニングのための追加のホールドアウトセットを必要とする。 しかし、この原則に違反する影響は未解明のままであり、実際的な応用ではあいまいである。 本研究では,多くの共形予測手法における単純なパラメータチューニングには,同じデータセットを用いてチューニングと校正を行った場合のカバレッジギャップであるチューニングバイアスが無視可能であることを実証的に見出した。 このバイアスはパラメータ空間の複雑さによって増加し、キャリブレーションセットのサイズによって減少する。 形式的には、チューニングバイアスを定量化するための理論的枠組みを確立し、チューニングバイアスの上界を導出することで、チューニングバイアスのスケーリング法則の厳密な証明を与える。 最後に、我々が開発した理論によって導かれるチューニングバイアスを減らす方法について論じる。

関連論文リスト

• Online scalable Gaussian processes with conformal prediction for guaranteed coverage [32.21093722162573]
  結果として生じる不確実な値の整合性は、学習関数がGPモデルで指定された特性に従うという前提に基づいている。 提案するGPは,分散のない後処理フレームワークである共形予測(CP)を用いて,有意なカバレッジで予測セットを生成する。
  論文  参考訳（メタデータ） (2024-10-07T19:22:15Z)
• Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
  生成モデルは出力に対する厳密な統計的保証を欠いている。 厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。 このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
  論文  参考訳（メタデータ） (2024-10-02T15:26:52Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [50.41984119504716]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)
• Distribution-Free Finite-Sample Guarantees and Split Conformal Prediction [0.0]
  分割共形予測は、最小分布自由仮定の下で有限サンプル保証を得るための有望な道を表す。 1940年代に開発された分割共形予測と古典的寛容予測との関連性を強調した。
  論文  参考訳（メタデータ） (2022-10-26T14:12:24Z)
• Few-Shot Calibration of Set Predictors via Meta-Learned Cross-Validation-Based Conformal Prediction [33.33774397643919]
  本稿では,設定した予測サイズを減らすことを目的としたメタ学習ソリューションを提案する。 より効率的なバリデーションベースのCPではなく、クロスバリデーションベースのCP上に構築されている。 これは、厳格なタスク・マージナル保証を減らすのではなく、正式なタスク毎のキャリブレーション保証を保持する。
  論文  参考訳（メタデータ） (2022-10-06T17:21:03Z)
• Predictive Inference with Feature Conformal Prediction [80.77443423828315]
  本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。 理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。 提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-10-01T02:57:37Z)
• Distribution-free binary classification: prediction sets, confidence intervals and calibration [106.50279469344937]
  分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。 固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。 我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
  論文  参考訳（メタデータ） (2020-06-18T14:17:29Z)
• Tuning-free ridge estimators for high-dimensional generalized linear models [3.383670923637875]
  リッジ推定器は、チューニングパラメータを完全に回避できるように修正可能であることを示す。 また、これらの修正版は、標準リッジ推定器とクロスバリデーションを組み合わせた経験的予測精度を向上させることができることを示した。
  論文  参考訳（メタデータ） (2020-02-27T05:01:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。