論文の概要: Truthfulness of Calibration Measures
- arxiv url: http://arxiv.org/abs/2407.13979v1
- Date: Fri, 19 Jul 2024 02:07:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 19:03:23.454400
- Title: Truthfulness of Calibration Measures
- Title（参考訳）: 校正措置の真偽
- Authors: Nika Haghtalab, Mingda Qiao, Kunhe Yang, Eric Zhao,
- Abstract要約: キャリブレーションの指標は、予測者が次の結果の条件付き期待を予測することによって期待されるペナルティを最小化した場合に真実とされる。
これにより、音の良さや完全さといった典型的な要件とともに、校正措置に欠かせないデシプラタムとなる。
本稿では, 正当性予測を一定乗算係数まで最適とする, Subsampled Smooth Error (SSCE) と呼ばれる新たなキャリブレーション手法を提案する。
- 参考スコア（独自算出の注目度）: 18.21682539787221
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We initiate the study of the truthfulness of calibration measures in sequential prediction. A calibration measure is said to be truthful if the forecaster (approximately) minimizes the expected penalty by predicting the conditional expectation of the next outcome, given the prior distribution of outcomes. Truthfulness is an important property of calibration measures, ensuring that the forecaster is not incentivized to exploit the system with deliberate poor forecasts. This makes it an essential desideratum for calibration measures, alongside typical requirements, such as soundness and completeness. We conduct a taxonomy of existing calibration measures and their truthfulness. Perhaps surprisingly, we find that all of them are far from being truthful. That is, under existing calibration measures, there are simple distributions on which a polylogarithmic (or even zero) penalty is achievable, while truthful prediction leads to a polynomial penalty. Our main contribution is the introduction of a new calibration measure termed the Subsampled Smooth Calibration Error (SSCE) under which truthful prediction is optimal up to a constant multiplicative factor.
- Abstract（参考訳）: 我々は、逐次予測における校正措置の真偽の研究を開始する。
キャリブレーション測度が真であるとは、予測器(およそ)が、前の結果の分布から次の結果の条件付き期待を予測することによって、期待されるペナルティを最小化した場合である。
真実性はキャリブレーション対策の重要な性質であり、予測器が故意に悪い予測でシステムを利用するインセンティブを得ていないことを保証する。
これにより、音の良さや完全さといった典型的な要件とともに、校正措置に欠かせないデシプラタムとなる。
我々は、既存の校正措置とその真理を分類する。
意外なことに、それらすべてが真実とは程遠いものなのだ。
つまり、既存の校正測度の下では、多項式のペナルティを真に予測する一方、多対数(あるいはゼロ)ペナルティを達成できるような単純な分布が存在する。
我々の主な貢献は、正当性予測が一定乗算係数まで最適となる、Subsampled Smooth Calibration Error (SSCE)と呼ばれる新しい校正尺度の導入である。
関連論文リスト
- Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。
我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
論文 参考訳（メタデータ） (2024-05-22T18:52:09Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Boldness-Recalibration for Binary Event Predictions [0.0]
理想的には、確率予測は(i)よく校正され、(ii)正確であり、(iii)大胆な、すなわち、意思決定に十分な情報を伝達する。
キャリブレーションと大胆さの間には根本的な緊張があり、予測が過度に慎重になったらキャリブレーションの指標が高くなる可能性がある。
本研究の目的は,キャリブレーション評価のためのベイズモデル選択に基づくアプローチと,大胆度補正のための戦略を開発することである。
論文 参考訳（メタデータ） (2023-05-05T18:14:47Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳（メタデータ） (2022-12-22T22:05:16Z) - A Unifying Theory of Distance from Calibration [9.959025631339982]
完璧なキャリブレーションからの距離を定量化する方法については合意がない。
本研究では, キャリブレーションからの距離に関する基礎的な概念を提案する。
フレームワークの適用により、一貫性があり、効率的に推定できる3つのキャリブレーションを識別する。
論文 参考訳（メタデータ） (2022-11-30T10:38:24Z) - Forecast Hedging and Calibration [8.858351266850544]
我々は予測ヘッジの概念を開発し、予測されたトラック記録が改善できることを保証するために予測を選択する。
これにより、全てのキャリブレーション結果が同じ単純な引数で得られ、一方、それらが使用する予測ヘッジツールによって区別される。
その他のコントリビューションとしては、継続的なキャリブレーションの定義の改善、長期にわたってナッシュリリアをもたらすゲームダイナミクス、既知のすべての手順よりも単純なバイナリイベントの予測手順などがある。
論文 参考訳（メタデータ） (2022-10-13T16:48:25Z) - Smooth Calibration, Leaky Forecasts, Finite Recall, and Nash Dynamics [8.858351266850544]
本稿では,近隣の予測と組み合わせることで,予測器の良さを測るキャリブレーションスコアを円滑に評価することを提案する。
決定論的手続きによってスムーズな校正が保証されることを示す。
論文 参考訳（メタデータ） (2022-10-13T16:34:55Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳（メタデータ） (2022-03-03T16:58:54Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳（メタデータ） (2021-02-22T07:22:12Z) - Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。
実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文 参考訳（メタデータ） (2020-06-29T21:50:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。