論文の概要: Calibeating Prediction-Powered Inference
- arxiv url: http://arxiv.org/abs/2604.21260v1
- Date: Thu, 23 Apr 2026 04:06:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.294085
- Title: Calibeating Prediction-Powered Inference
- Title(参考訳): カリビーティング予測による推論
- Authors: Lars van der Laan, Mark Van Der Laan,
- Abstract要約: そこで本研究では,小さいラベル付きサンプルと大きなラベル付きサンプルと,出力が誤校正される可能性のあるブラックボックス予測モデルを用いて,半教師付き平均推定について検討した。
半教師付き推定に使用する前にラベル付きサンプルの予測スコアをキャリブレーションした後のキャリブレーション予測パワー推論を導入する。
シミュレーションや実データ実験では、推定器はPPIを上回り、AIPWやPPI++と競合する。
- 参考スコア(独自算出の注目度): 3.294420397461204
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study semisupervised mean estimation with a small labeled sample, a large unlabeled sample, and a black-box prediction model whose output may be miscalibrated. A standard approach in this setting is augmented inverse-probability weighting (AIPW) [Robins et al., 1994], which protects against prediction-model misspecification but can be inefficient when the prediction score is poorly aligned with the outcome scale. We introduce Calibrated Prediction-Powered Inference, which post-hoc calibrates the prediction score on the labeled sample before using it for semisupervised estimation. This simple step requires no retraining and can improve the original score both as a predictor of the outcome and as a regression adjustment for semisupervised inference. We study both linear and isotonic calibration. For isotonic calibration, we establish first-order optimality guarantees: isotonic post-processing can improve predictive accuracy and estimator efficiency relative to the original score and simpler post-processing rules, while no further post-processing of the fitted isotonic score yields additional first-order gains. For linear calibration, we show first-order equivalence to PPI++. We also clarify the relationship among existing estimators, showing that the original PPI estimator is a special case of AIPW and can be inefficient when the prediction model is accurate, while PPI++ is AIPW with empirical efficiency maximization [Rubin et al., 2008]. In simulations and real-data experiments, our calibrated estimators often outperform PPI and are competitive with, or outperform, AIPW and PPI++. We provide an accompanying Python package, ppi_aipw, at https://larsvanderlaan.github.io/ppi-aipw/.
- Abstract(参考訳): そこで本研究では,小さいラベル付きサンプルと大きなラベル付きサンプルと,出力が誤校正される可能性のあるブラックボックス予測モデルを用いて,半教師付き平均推定について検討した。
この設定における標準的なアプローチは、予測モデルの誤特定から保護されるが、予測スコアが結果尺度に不整合である場合に非効率である、拡張逆確率重み付け (AIPW) [Robins et al , 1994] である。
半教師付き推定に使用する前にラベル付きサンプルの予測スコアをキャリブレーションした後のキャリブレーション予測パワー推論を導入する。
この単純なステップでは、再トレーニングを必要とせず、結果の予測子としても、半教師付き推論の回帰調整としても、元のスコアを改善することができる。
線形キャリブレーションと等速キャリブレーションの両方について検討する。
アイソトニック・ポストプロセッシングは、元のスコアに対する予測精度と推定器の効率を向上し、より単純な後処理ルールを達成できるが、適合したアイソトニック・スコアのさらなる後処理では、追加の1次ゲインが得られる。
線形キャリブレーションでは、PPI++と一階の等価性を示す。
また、既存の推定器間の関係を明らかにし、元のPPI推定器はAIPWの特殊な場合であり、予測モデルが正確である場合には非効率であることを示す。
シミュレーションや実データ実験では、校正された推定器はPPIを上回り、AIPWやPPI++と競合する。
関連Pythonパッケージppi_aipwをhttps://larsvanderlaan.github.io/ppi-aipw/で提供します。
関連論文リスト
- Prediction-Powered Inference with Inverse Probability Weighting [0.4987670632802289]
予測駆動推論(英: Prediction-powered Inference, PPI)は、部分的にラベル付けされたデータを用いた統計的推測のための最近のフレームワークである。
PPIは、非重み付きバイアス補正項を逆確率重み付き(IPW)バージョンに置き換えることで、情報ラベリングに対処できることを示す。
論文 参考訳(メタデータ) (2025-08-13T19:25:38Z) - Normalizing Flows for Conformal Regression [0.0]
Conformal Prediction (CP)アルゴリズムは、ラベル付きデータに基づいて出力を校正することで予測モデルの不確実性を推定する。
キャリブレーション過程をトレーニングすることで、間隔をローカライズする一般的なスキームを提案する。
PapadopoulosらによるError Reweighting CPアルゴリズム(2008年)とは異なり、このフレームワークは名目と経験的条件の妥当性のギャップを推定できる。
論文 参考訳(メタデータ) (2024-06-05T15:04:28Z) - Propensity score models are better when post-calibrated [0.32228025627337864]
ポスト校正は、表現的未校正統計推定器における効果推定における誤差を低減する。
効果推定の改善とポスト校正が計算的に安価であることを考えると、表現的モデルを用いて確率スコアをモデル化する場合に採用することを推奨する。
論文 参考訳(メタデータ) (2022-11-02T16:01:03Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。
トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。
1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
論文 参考訳(メタデータ) (2022-05-27T11:13:17Z) - Boost Test-Time Performance with Closed-Loop Inference [85.43516360332646]
そこで本研究では,モデル性能を高めるために,ループ方式でハードクラス化試験サンプルを予測することを提案する。
まず、追加の推論ループを必要とするハードクラス化テストサンプルを識別するためにフィルタリング基準を考案する。
各ハードサンプルに対して、モデルのキャリブレーションを行うために、元の上位$K$予測に基づいて補助学習タスクを構築する。
論文 参考訳(メタデータ) (2022-03-21T10:20:21Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳(メタデータ) (2022-03-03T16:58:54Z) - Towards Improving Selective Prediction Ability of NLP Systems [24.774450633678125]
本稿では,予測信頼度とインスタンスの難易度を用いてモデルを校正することにより,モデルの確率推定を改善する手法を提案する。
In-Domain (IID) と Out-of-Domain (OOD) の2つの設定で評価を行う。
論文 参考訳(メタデータ) (2020-08-21T08:46:36Z) - Individual Calibration with Randomized Forecasting [116.2086707626651]
予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。
我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
論文 参考訳(メタデータ) (2020-06-18T05:53:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。