論文の概要: Parametric Scaling Law of Tuning Bias in Conformal Prediction

• arxiv url: http://arxiv.org/abs/2502.03023v1
• Date: Wed, 05 Feb 2025 09:26:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:26:30.558841
• Title: Parametric Scaling Law of Tuning Bias in Conformal Prediction
• Title（参考訳）: 等角予測におけるチューニングバイアスのパラメトリックスケーリング法則
• Authors: Hao Zeng, Kangdao Liu, Bingyi Jing, Hongxin Wei,
• Abstract要約: 多くの共形予測手法において、チューニングとキャリブレーションに同じデータセットを活用することで導入されたチューニングバイアス(カバレッジギャップ)が単純なパラメータチューニングには無視できることがわかった。 我々は、チューニングバイアスの定量化と、チューニングバイアスのスケーリング法則の厳密な証明を上界から導出する理論的枠組みを確立する。
• 参考スコア（独自算出の注目度）: 11.970092440023956
• License:
• Abstract: Conformal prediction is a popular framework of uncertainty quantification that constructs prediction sets with coverage guarantees. To uphold the exchangeability assumption, many conformal prediction methods necessitate an additional holdout set for parameter tuning. Yet, the impact of violating this principle on coverage remains underexplored, making it ambiguous in practical applications. In this work, we empirically find that the tuning bias - the coverage gap introduced by leveraging the same dataset for tuning and calibration, is negligible for simple parameter tuning in many conformal prediction methods. In particular, we observe the scaling law of the tuning bias: this bias increases with parameter space complexity and decreases with calibration set size. Formally, we establish a theoretical framework to quantify the tuning bias and provide rigorous proof for the scaling law of the tuning bias by deriving its upper bound. In the end, we discuss how to reduce the tuning bias, guided by the theories we developed.
• Abstract（参考訳）: コンフォーマル予測は、カバレッジ保証付き予測セットを構成する不確実性定量化の一般的なフレームワークである。 交換可能性仮定を維持するために、多くの共形予測手法はパラメータチューニングのための追加のホールドアウトセットを必要とする。 しかし、この原則に違反する影響は未解明のままであり、実際的な応用ではあいまいである。 本研究では,多くの共形予測手法における単純なパラメータチューニングには,同じデータセットを用いてチューニングと校正を行った場合のカバレッジギャップであるチューニングバイアスが無視可能であることを実証的に見出した。 このバイアスはパラメータ空間の複雑さによって増加し、キャリブレーションセットのサイズによって減少する。 形式的には、チューニングバイアスを定量化するための理論的枠組みを確立し、チューニングバイアスの上界を導出することで、チューニングバイアスのスケーリング法則の厳密な証明を与える。 最後に、我々が開発した理論によって導かれるチューニングバイアスを減らす方法について論じる。

関連論文リスト

• Semi-Supervised Risk Control via Prediction-Powered Inference [14.890609936348277]
  リスク制御予測セット(RCPS)は、任意の機械学習モデルの出力を変換し、厳密なエラー率制御で予測ルールを設計するツールである。 ラベルのないデータを利用してハイパーパラメータを厳格に調整する半教師付きキャリブレーション手法を導入する。 提案手法は予測駆動型推論フレームワーク上に構築され,リスク管理タスクに慎重に適合する。
  論文  参考訳（メタデータ） (2024-12-15T13:00:23Z)
• Online scalable Gaussian processes with conformal prediction for guaranteed coverage [32.21093722162573]
  結果として生じる不確実な値の整合性は、学習関数がGPモデルで指定された特性に従うという前提に基づいている。 提案するGPは,分散のない後処理フレームワークである共形予測(CP)を用いて,有意なカバレッジで予測セットを生成する。
  論文  参考訳（メタデータ） (2024-10-07T19:22:15Z)
• Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
  生成モデルは出力に対する厳密な統計的保証を欠いている。 厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。 このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
  論文  参考訳（メタデータ） (2024-10-02T15:26:52Z)
• Does confidence calibration improve conformal prediction? [10.340903334800787]
  適応型共形予測において、電流信頼度校正法がより大きな予測セットをもたらすことを示す。 温度値の役割を調べることにより,高信頼度予測が適応型等角予測の効率を高めることが確認された。 本稿では,予測セットの効率を向上させるために,新しい損失関数を備えた温度スケーリングの変種である Conformal Temperature Scaling (ConfTS) を提案する。
  論文  参考訳（メタデータ） (2024-02-06T19:27:48Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [50.41984119504716]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)
• Few-Shot Calibration of Set Predictors via Meta-Learned Cross-Validation-Based Conformal Prediction [33.33774397643919]
  本稿では,設定した予測サイズを減らすことを目的としたメタ学習ソリューションを提案する。 より効率的なバリデーションベースのCPではなく、クロスバリデーションベースのCP上に構築されている。 これは、厳格なタスク・マージナル保証を減らすのではなく、正式なタスク毎のキャリブレーション保証を保持する。
  論文  参考訳（メタデータ） (2022-10-06T17:21:03Z)
• Predictive Inference with Feature Conformal Prediction [80.77443423828315]
  本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。 理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。 提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-10-01T02:57:37Z)
• Distribution-free binary classification: prediction sets, confidence intervals and calibration [106.50279469344937]
  分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。 固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。 我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
  論文  参考訳（メタデータ） (2020-06-18T14:17:29Z)
• Tuning-free ridge estimators for high-dimensional generalized linear models [3.383670923637875]
  リッジ推定器は、チューニングパラメータを完全に回避できるように修正可能であることを示す。 また、これらの修正版は、標準リッジ推定器とクロスバリデーションを組み合わせた経験的予測精度を向上させることができることを示した。
  論文  参考訳（メタデータ） (2020-02-27T05:01:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。