論文の概要: Measuring Informativeness Gap of (Mis)Calibrated Predictors

• arxiv url: http://arxiv.org/abs/2507.12094v1
• Date: Wed, 16 Jul 2025 10:01:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 19:00:11.34562
• Title: Measuring Informativeness Gap of (Mis)Calibrated Predictors
• Title（参考訳）: Mis)キャリブレーション予測器のインフォーマルネスギャップの測定
• Authors: Yiding Feng, Wei Tang,
• Abstract要約: 多くのアプリケーションでは、意思決定者は複数の予測モデルを選択しなければならない。 我々のフレームワークは, 誤校正された予測器と校正された予測器を比較する, U-Calibration [KLST-23] と Decision Loss [HW-24] を厳密に一般化する。 第2の貢献は、情報化のギャップを二重に特徴づけることであり、これは自然な情報化の尺度を生み出します。
• 参考スコア（独自算出の注目度）: 15.651406777700517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many applications, decision-makers must choose between multiple predictive models that may all be miscalibrated. Which model (i.e., predictor) is more "useful" in downstream decision tasks? To answer this, our first contribution introduces the notion of the informativeness gap between any two predictors, defined as the maximum normalized payoff advantage one predictor offers over the other across all decision-making tasks. Our framework strictly generalizes several existing notions: it subsumes U-Calibration [KLST-23] and Calibration Decision Loss [HW-24], which compare a miscalibrated predictor to its calibrated counterpart, and it recovers Blackwell informativeness [Bla-51, Bla-53] as a special case when both predictors are perfectly calibrated. Our second contribution is a dual characterization of the informativeness gap, which gives rise to a natural informativeness measure that can be viewed as a relaxed variant of the earth mover's distance (EMD) between two prediction distributions. We show that this measure satisfies natural desiderata: it is complete and sound, and it can be estimated sample-efficiently in the prediction-only access setting. Along the way, we also obtain novel combinatorial structural results when applying this measure to perfectly calibrated predictors.
• Abstract（参考訳）: 多くのアプリケーションでは、意思決定者は複数の予測モデルを選択しなければならない。 下流の意思決定タスクでは、どのモデル(つまり予測器)がより"有用"なのでしょうか? これに対応するために、第1のコントリビューションでは、すべての意思決定タスクにおいて、予測者が提示する最大正規化ペイオフ優位性として定義される、任意の2つの予測者間の情報的ギャップの概念を導入しました。 U-Calibration [KLST-23] と Calibration Decision Loss [HW-24] を仮定し、誤校正された予測器と校正された予測器を比較し、両方の予測器が完全に校正された特別な場合として Blackwell Informationativeness [Bla-51, Bla-53] を復元する。 第2の寄与は,2つの予測分布間の地球移動器距離(EMD)の緩和変種とみなすことができる自然的情報伝達率のギャップの2つの特徴である。 本研究では,本手法が自然デシデラタを満足し,完全かつ健全であり,予測のみのアクセス設定において,サンプル効率で推定可能であることを示す。 また,この手法を完全校正予測器に適用した場合に,新たな組合せ構造が得られた。

関連論文リスト

• Quantifying the Reliability of Predictions in Detection Transformers: Object-Level Calibration and Image-Level Uncertainty [6.209833978040362]
  実際には、DETRは画像に存在するオブジェクトの実際の数よりはるかに多い数百の予測を生成する。 これらすべての予測を信頼し、使用できますか? 我々は、同じ画像内の異なる予測がどのように異なる役割を果たすかを示す実証的な証拠を示し、その結果、信頼性のレベルが異なることを示す。
  論文  参考訳（メタデータ） (2024-12-02T18:34:17Z)
• Reconciling Model Multiplicity for Downstream Decision Making [24.335927243672952]
  2つの予測モデルがほぼ至るところでそれぞれの予測にほぼ一致しているとしても、最も応答性の高い行動が人口のかなりの部分で相違していることが示される。 本稿では,下流決定問題と個別確率予測の両方に関して,予測モデルを校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:36:46Z)
• Boldness-Recalibration for Binary Event Predictions [0.0]
  理想的には、確率予測は(i)よく校正され、(ii)正確であり、(iii)大胆な、すなわち、意思決定に十分な情報を伝達する。 キャリブレーションと大胆さの間には根本的な緊張があり、予測が過度に慎重になったらキャリブレーションの指標が高くなる可能性がある。 本研究の目的は,キャリブレーション評価のためのベイズモデル選択に基づくアプローチと,大胆度補正のための戦略を開発することである。
  論文  参考訳（メタデータ） (2023-05-05T18:14:47Z)
• Performative Prediction with Bandit Feedback: Learning through Reparameterization [23.039885534575966]
  行動予測は、データの分布自体がモデルの展開に応じて変化する社会予測を研究するためのフレームワークである。 本研究では,実行予測目標をデータ分散関数として再パラメータ化する再パラメータ化を開発する。
  論文  参考訳（メタデータ） (2023-05-01T21:31:29Z)
• Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation [51.809741427975105]
  この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。 我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。 核の基準は既存の手法よりも正確で堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T13:30:48Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• CovarianceNet: Conditional Generative Model for Correct Covariance Prediction in Human Motion Prediction [71.31516599226606]
  本稿では,将来の軌道の予測分布に関連する不確かさを正確に予測する手法を提案する。 我々のアプローチであるCovariaceNetは、ガウス潜在変数を持つ条件付き生成モデルに基づいている。
  論文  参考訳（メタデータ） (2021-09-07T09:38:24Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)
• Curse of Small Sample Size in Forecasting of the Active Cases in COVID-19 Outbreak [0.0]
  新型コロナウイルス(COVID-19)のパンデミックでは、感染者数や今後の流行を予想する試みが多数行われている。 しかし、信頼性の高い方法では、新型コロナウイルス(COVID-19)の根本的特徴の中期的・長期的進化を許容できる精度で予測することができない。 本稿では,この予測問題における機械学習モデルの故障について説明する。
  論文  参考訳（メタデータ） (2020-11-06T23:13:34Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。