論文の概要: Data-Efficient Prediction-Powered Calibration via Cross-Validation
- arxiv url: http://arxiv.org/abs/2507.20268v1
- Date: Sun, 27 Jul 2025 13:31:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:57.365661
- Title: Data-Efficient Prediction-Powered Calibration via Cross-Validation
- Title（参考訳）: クロスバリデーションによるデータ効率の良い予測型校正
- Authors: Seonghoon Yoo, Houssem Sifaou, Sangwoo Park, Joonhyuk Kang, Osvaldo Simeone,
- Abstract要約: 本稿では,限られたキャリブレーションデータを効率的に利用して予測器を微調整し,合成ラベルのバイアスを推定する手法を提案する。
提案手法は,AI生成決定に対する厳密なカバレッジ保証を備えた予測セットを生成する。
- 参考スコア（独自算出の注目度）: 35.04154147859041
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Calibration data are necessary to formally quantify the uncertainty of the decisions produced by an existing artificial intelligence (AI) model. To overcome the common issue of scarce calibration data, a promising approach is to employ synthetic labels produced by a (generally different) predictive model. However, fine-tuning the label-generating predictor on the inference task of interest, as well as estimating the residual bias of the synthetic labels, demand additional data, potentially exacerbating the calibration data scarcity problem. This paper introduces a novel approach that efficiently utilizes limited calibration data to simultaneously fine-tune a predictor and estimate the bias of the synthetic labels. The proposed method yields prediction sets with rigorous coverage guarantees for AI-generated decisions. Experimental results on an indoor localization problem validate the effectiveness and performance gains of our solution.
- Abstract（参考訳）: キャリブレーションデータは、既存の人工知能(AI)モデルによって生成された決定の不確実性を正式に定量化するために必要である。
キャリブレーションデータ不足の共通問題を克服するために、(一般的に異なる)予測モデルによって生成された合成ラベルを採用するという、有望なアプローチが提案されている。
しかし、興味の推論タスクにおけるラベル生成予測器を微調整し、合成ラベルの残差を推定し、追加データを要求し、キャリブレーションデータ不足問題を悪化させる可能性がある。
本稿では,限られたキャリブレーションデータを利用して予測器を同時に微調整し,合成ラベルのバイアスを推定する手法を提案する。
提案手法は,AI生成決定に対する厳密なカバレッジ保証を備えた予測セットを生成する。
室内局所化問題に対する実験結果から,本ソリューションの有効性と性能が検証された。
関連論文リスト
- Anytime-valid, Bayes-assisted,Prediction-Powered Inference [0.0]
予測駆動推論(PPI)は機械学習の予測を活用して統計的効率を向上させる。
PPIフレームワークをシーケンシャルな設定に拡張し、ラベル付きデータセットと非ラベル付きデータセットが時間とともに成長します。
本稿では,時間とともに一様に有効であり,予測の質に関する事前知識を自然に順応する予測型信頼シーケンス手順を提案する。
論文 参考訳（メタデータ） (2025-05-23T15:05:49Z) - Beyond One-Hot Labels: Semantic Mixing for Model Calibration [22.39558434131574]
textbfCalibration-aware Semantic Mixing (CSM) は、クラス特性の混合したトレーニングサンプルを生成する新しいフレームワークである。
我々はCSMが最先端のキャリブレーション手法よりも優れたキャリブレーションを実現することを示す。
論文 参考訳（メタデータ） (2025-04-18T08:26:18Z) - Noise-Adaptive Conformal Classification with Marginal Coverage [53.74125453366155]
本稿では,ランダムラベルノイズによる交換性からの偏差を効率的に処理できる適応型共形推論手法を提案する。
本手法は,合成および実データに対して,その有効性を示す広範囲な数値実験により検証する。
論文 参考訳（メタデータ） (2025-01-29T23:55:23Z) - A Conformal Approach to Feature-based Newsvendor under Model Misspecification [2.801095519296785]
共形予測にインスパイアされたモデルフリーで分散フリーなフレームワークを提案する。
ワシントンD.C.のCapital Bikeshareプログラムのシミュレーションデータと実世界のデータセットを用いて,我々のフレームワークを検証する。
論文 参考訳（メタデータ） (2024-12-17T18:34:43Z) - Fill In The Gaps: Model Calibration and Generalization with Synthetic Data [2.89287673224661]
本稿では,合成データを精度良く組み込んだキャリブレーション手法を提案する。
本稿では,予測校正誤差(ECE)をPAC学習フレームワークを用いて導出する。
平均34%の精度, 33%のECE低下を認めた。
論文 参考訳（メタデータ） (2024-10-07T23:06:42Z) - Learning with Imbalanced Noisy Data by Preventing Bias in Sample
Selection [82.43311784594384]
実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。
不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
論文 参考訳（メタデータ） (2024-02-17T10:34:53Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - Conformal Prediction Under Feedback Covariate Shift for Biomolecular Design [56.86533144730384]
本稿では,トレーニングデータとテストデータが統計的に依存した環境での予測不確実性を定量化する手法を提案する。
モチベーション・ユースケースとして,本手法が設計したタンパク質の適合性予測の不確かさを定量化する方法を実データで示す。
論文 参考訳（メタデータ） (2022-02-08T02:59:12Z) - Theoretical characterization of uncertainty in high-dimensional linear
classification [24.073221004661427]
本研究では,高次元入力データとラベルの限られたサンプル数から学習する不確実性が,近似メッセージパッシングアルゴリズムによって得られることを示す。
我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
論文 参考訳（メタデータ） (2022-02-07T15:32:07Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳（メタデータ） (2020-06-29T21:50:07Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。