論文の概要: Truthfulness of Decision-Theoretic Calibration Measures

• arxiv url: http://arxiv.org/abs/2503.02384v1
• Date: Tue, 04 Mar 2025 08:20:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:16:22.053841
• Title: Truthfulness of Decision-Theoretic Calibration Measures
• Title（参考訳）: 決定理論の校正措置の真理性
• Authors: Mingda Qiao, Eric Zhao,
• Abstract要約: サブサンプリングステップキャリブレーションと呼ばれる新たなキャリブレーション尺度である$mathsfStepCEtextsfsub$を導入する。 特に、任意の積分布において、$mathsfStepCEtextsfsub$は$O(1)$ factorまで真であるのに対し、事前決定理論の校正策は$e-Omega(T)$-$Omega(sqrtT)$ truthfulness gapに苦しむ。
• 参考スコア（独自算出の注目度）: 5.414308305392762
• License:
• Abstract: Calibration measures quantify how much a forecaster's predictions violates calibration, which requires that forecasts are unbiased conditioning on the forecasted probabilities. Two important desiderata for a calibration measure are its decision-theoretic implications (i.e., downstream decision-makers that best-respond to the forecasts are always no-regret) and its truthfulness (i.e., a forecaster approximately minimizes error by always reporting the true probabilities). Existing measures satisfy at most one of the properties, but not both. We introduce a new calibration measure termed subsampled step calibration, $\mathsf{StepCE}^{\textsf{sub}}$, that is both decision-theoretic and truthful. In particular, on any product distribution, $\mathsf{StepCE}^{\textsf{sub}}$ is truthful up to an $O(1)$ factor whereas prior decision-theoretic calibration measures suffer from an $e^{-\Omega(T)}$-$\Omega(\sqrt{T})$ truthfulness gap. Moreover, in any smoothed setting where the conditional probability of each event is perturbed by a noise of magnitude $c > 0$, $\mathsf{StepCE}^{\textsf{sub}}$ is truthful up to an $O(\sqrt{\log(1/c)})$ factor, while prior decision-theoretic measures have an $e^{-\Omega(T)}$-$\Omega(T^{1/3})$ truthfulness gap. We also prove a general impossibility result for truthful decision-theoretic forecasting: any complete and decision-theoretic calibration measure must be discontinuous and non-truthful in the non-smoothed setting.
• Abstract（参考訳）: キャリブレーション測度は、予測者の予測がキャリブレーションにどの程度違反しているかを定量化する。 キャリブレーション測度の2つの重要なデシラタは、その決定論的含意(すなわち、予測に最もよく対応している下流の意思決定者は、常に非回帰的である)と真性(すなわち、予測者は、真確率を常に報告することによって誤差をほぼ最小化する)である。 既存の測度は、ほとんどの性質の1つを満足するが、両方ではない。 そこで我々は,サブサンプリングステップキャリブレーション(subsampled step calibration)と呼ばれる新たなキャリブレーション尺度, $\mathsf{StepCE}^{\textsf{sub}}$を導入する。 特に、任意の積分布において、$\mathsf{StepCE}^{\textsf{sub}}$は$O(1)$因子まで真であるのに対し、事前決定理論の校正策は$e^{-\Omega(T)}$-$\Omega(\sqrt{T})$truefulness gapに苦しむ。 さらに、各事象の条件確率が次数$c > 0$, $\mathsf{StepCE}^{\textsf{sub}}$ is truthful up to a $O(\sqrt{\log(1/c)})$ factor で摂動されるような滑らかな環境では、以前の決定論的測度は$e^{-\Omega(T)}$-$\Omega(T^{1/3})$ truthfulness gap である。 完全かつ決定論的キャリブレーションの指標は、非滑らかな環境では不連続で非真実でなければならない。

関連論文リスト

• Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
  対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。 次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。 C=e(log H)1-Omega(1)$。
  論文  参考訳（メタデータ） (2025-02-18T02:52:00Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。 我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)
• An Elementary Predictor Obtaining $2\sqrt{T}+1$ Distance to Calibration [4.628072661683411]
  オンライン予測器は, 対向的な設定でキャリブレーションまでの距離が$O(sqrtT)$であることを示す。 キャリブレーション誤差を最大2sqrtT+1$で求める,極めて単純,効率的,決定論的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-18T00:53:05Z)
• On the Distance from Calibration in Sequential Prediction [4.14360329494344]
  キャリブレーション距離から予測器を評価可能な逐次二分予測条件について検討する。 キャリブレーション距離は、完全キャリブレーションから逸脱する自然で直感的な尺度である。 我々は,逆選択された$T$バイナリ結果の列に対して,予測において$O(sqrtT)$キャリブレーション距離を達成できる予測アルゴリズムが存在することを証明した。
  論文  参考訳（メタデータ） (2024-02-12T07:37:19Z)
• A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
  ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。 ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。 提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-10-13T15:11:11Z)
• Faster online calibration without randomization: interval forecasts and the power of two choices [43.17917448937131]
  本研究では,逆数の性質によって生成される2進数列に対する校正確率予測問題について検討する。 2つの選択の力」と不正確な確率論の研究に触発され、我々は標準的なオンラインキャリブレーション問題の小さな変種について研究する。
  論文  参考訳（メタデータ） (2022-04-27T17:33:23Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Stronger Calibration Lower Bounds via Sidestepping [18.383889039268222]
  予測器が1ビットあたり$T$のシーケンスを1つずつ観測するオンラインバイナリ予測設定について検討する。 予測器は、[0, 1]$の各$pに対して、予測器が確率$p$を予測する$n_p$ビットのうち、$p cdot n_p$に対して実際に$p cdot n_p$と等しい場合、よく校正される。 キャリブレーション誤差は$sum_p |m_p - p n_p|$と定義され、予測器が適切に校正されない範囲を定量化する。
  論文  参考訳（メタデータ） (2020-12-07T05:29:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。