論文の概要: Persuasive Calibration
- arxiv url: http://arxiv.org/abs/2504.03211v1
- Date: Fri, 04 Apr 2025 06:49:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-07 14:48:53.619312
- Title: Persuasive Calibration
- Title(参考訳): Persuasive Calibration
- Authors: Yiding Feng, Wei Tang,
- Abstract要約: 我々は、予測を自身の値で非バイアス条件で行うように規制する標準校正フレームワークを採用する。
最適予測器は、高い(低い)真の期待結果に対して自信過剰であり、中央に完全に留まっていることを示す。
- 参考スコア(独自算出の注目度): 15.651406777700517
- License:
- Abstract: We introduce and study the persuasive calibration problem, where a principal aims to provide trustworthy predictions about underlying events to a downstream agent to make desired decisions. We adopt the standard calibration framework that regulates predictions to be unbiased conditional on their own value, and thus, they can reliably be interpreted at the face value by the agent. Allowing a small calibration error budget, we aim to answer the following question: what is and how to compute the optimal predictor under this calibration error budget, especially when there exists incentive misalignment between the principal and the agent? We focus on standard Lt-norm Expected Calibration Error (ECE) metric. We develop a general framework by viewing predictors as post-processed versions of perfectly calibrated predictors. Using this framework, we first characterize the structure of the optimal predictor. Specifically, when the principal's utility is event-independent and for L1-norm ECE, we show: (1) the optimal predictor is over-(resp. under-) confident for high (resp. low) true expected outcomes, while remaining perfectly calibrated in the middle; (2) the miscalibrated predictions exhibit a collinearity structure with the principal's utility function. On the algorithmic side, we provide a FPTAS for computing approximately optimal predictor for general principal utility and general Lt-norm ECE. Moreover, for the L1- and L-Infinity-norm ECE, we provide polynomial-time algorithms that compute the exact optimal predictor.
- Abstract(参考訳): そこで,本研究では,主要因となる事象に関する信頼性の高い予測を下流のエージェントに提供し,望ましい意思決定を行うことを目的とする,説得的キャリブレーション問題を紹介し,研究する。
そこで我々は, 基準校正フレームワークを採用して, 予測を自己の値で不偏な条件で調整し, エージェントの顔の値で確実に解釈できることを示す。
キャリブレーションエラー予算が小さいので、このキャリブレーションエラー予算の下で最適な予測器をどのように計算するかという質問に答えることを目指しています。
我々は標準のLt-norm Premed Calibration Error(ECE)メトリクスに焦点を当てる。
我々は,予測器を完全校正された予測器の処理後バージョンとみなして,一般的なフレームワークを開発する。
このフレームワークを用いて,まず最適な予測器の構造を特徴付ける。
具体的には、主成分の効用が事象非依存であり、L1-norm ECE の場合、(1) 最適予測器は、高い(相対的に低い)真の期待結果に対して自信を持ちながら、中央で完全に校正されたままであり、(2) 誤校正された予測器は、主成分の効用関数とコリニアリティ構造を示す。
アルゴリズムの面では、汎用ユーティリティと一般Lt-norm ECEの近似最適予測器を計算するためのFPTASを提供する。
さらに、L1-およびL-無限ノルムECEに対して、正確な最適予測器を計算する多項式時間アルゴリズムを提供する。
関連論文リスト
- Orthogonal Causal Calibration [55.28164682911196]
我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。
我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
論文 参考訳(メタデータ) (2024-06-04T03:35:25Z) - Beyond Calibration: Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence [2.2359781747539396]
ディープネットワークは、しばしば過剰な自信と不一致な予測分布に悩まされる。
本稿では,条件付きカーネルの平均埋め込みを用いて,学習した予測分布とデータセットにおける経験的条件分布との距離を推定する,条件付きコングルーエンス誤差(CCE)について紹介する。
本研究では,1)データ生成プロセスが知られている場合の分布間の不一致を正確に定量化し,2)実世界の高次元画像回帰タスクに効果的にスケールし,3)未知のインスタンス上でのモデルの信頼性を評価することができることを示す。
論文 参考訳(メタデータ) (2024-05-20T23:30:07Z) - Does confidence calibration improve conformal prediction? [10.340903334800787]
適応型共形予測において、電流信頼度校正法がより大きな予測セットをもたらすことを示す。
温度値の役割を調べることにより,高信頼度予測が適応型等角予測の効率を高めることが確認された。
本稿では,予測セットの効率を向上させるために,新しい損失関数を備えた温度スケーリングの変種である Conformal Temperature Scaling (ConfTS) を提案する。
論文 参考訳(メタデータ) (2024-02-06T19:27:48Z) - U-Calibration: Forecasting for an Unknown Agent [29.3181385170725]
単一のスコアリングルールに対する予測を最適化することは、すべてのエージェントに対して低い後悔を保証できないことを示す。
予測列の最大後悔度に匹敵するU校正と呼ばれる予測を評価するための新しい指標を提案する。
論文 参考訳(メタデータ) (2023-06-30T23:05:26Z) - Uncertainty Calibration for Counterfactual Propensity Estimation in Recommendation [22.67361489565711]
inverse propensity score (IPS) は、観測された各インスタンスの予測誤差を重み付けするために用いられる。
IPSベースのレコメンデーションは、確率推定における誤校正によって妨げられる。
本稿では,CVR予測の妥当性に基づくデバイアス化のためのモデルに依存しないキャリブレーションフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-23T00:42:48Z) - Better Uncertainty Calibration via Proper Scores for Classification and
Beyond [15.981380319863527]
各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。
この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
論文 参考訳(メタデータ) (2022-03-15T12:46:08Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳(メタデータ) (2022-03-03T16:58:54Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳(メタデータ) (2021-02-22T07:22:12Z) - AutoCP: Automated Pipelines for Accurate Prediction Intervals [84.16181066107984]
本稿では、自動予測のための自動機械学習(Automatic Machine Learning for Conformal Prediction, AutoCP)というAutoMLフレームワークを提案する。
最高の予測モデルを選択しようとする慣れ親しんだAutoMLフレームワークとは異なり、AutoCPは、ユーザが指定したターゲットカバレッジ率を達成する予測間隔を構築する。
さまざまなデータセットでAutoCPをテストしたところ、ベンチマークアルゴリズムを著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2020-06-24T23:13:11Z) - Individual Calibration with Randomized Forecasting [116.2086707626651]
予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。
我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
論文 参考訳(メタデータ) (2020-06-18T05:53:10Z) - Understanding and Mitigating the Tradeoff Between Robustness and
Accuracy [88.51943635427709]
逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。
拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
論文 参考訳(メタデータ) (2020-02-25T08:03:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。