論文の概要: Measuring multi-calibration

• arxiv url: http://arxiv.org/abs/2506.11251v1
• Date: Thu, 12 Jun 2025 19:48:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.562918
• Title: Measuring multi-calibration
• Title（参考訳）: マルチキャリブレーションの測定
• Authors: Ido Guy, Daniel Haimovich, Fridolin Linder, Nastaran Okati, Lorenzo Perini, Niek Tax, Mark Tygert,
• Abstract要約: 予測確率が複数のサブ集団で同時にキャリブレーションされると、予測は「完全多重校正」と呼ばれる。 古典的なカイパー統計に基づく校正のための最近提案された計量は、多重校正の新しい計量の自然な基礎である。
• 参考スコア（独自算出の注目度）: 9.514997419494993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A suitable scalar metric can help measure multi-calibration, defined as follows. When the expected values of observed responses are equal to corresponding predicted probabilities, the probabilistic predictions are known as "perfectly calibrated." When the predicted probabilities are perfectly calibrated simultaneously across several subpopulations, the probabilistic predictions are known as "perfectly multi-calibrated." In practice, predicted probabilities are seldom perfectly multi-calibrated, so a statistic measuring the distance from perfect multi-calibration is informative. A recently proposed metric for calibration, based on the classical Kuiper statistic, is a natural basis for a new metric of multi-calibration and avoids well-known problems of metrics based on binning or kernel density estimation. The newly proposed metric weights the contributions of different subpopulations in proportion to their signal-to-noise ratios; data analyses' ablations demonstrate that the metric becomes noisy when omitting the signal-to-noise ratios from the metric. Numerical examples on benchmark data sets illustrate the new metric.
• Abstract（参考訳）: 適切なスカラー計量は、次のように定義される多重校正を測るのに役立つ。 観測された応答の期待値が対応する予測確率と等しい場合、確率的予測は「完全な校正」として知られている。 予測された確率がいくつかのサブ集団で同時にキャリブレーションされるとき、確率予測は「完全な多重校正」(perfectly multi-calibrated)として知られている。 実際には、予測確率が完全に多重校正されることはめったにないので、完全多重校正からの距離を測定する統計学が有益である。 古典的なカイパー統計に基づいて最近提案されたキャリブレーションの計量は、多重校正の新しい計量の自然な基礎であり、ビンニングやカーネル密度推定に基づくメトリクスのよく知られた問題を回避している。 新たに提案された計量は、信号対雑音比に比例して異なるサブポピュレーションの寄与を重み付け、データ解析の短縮は、その計量から信号対雑音比を省略するときに、その計量がノイズとなることを示す。 ベンチマークデータセットの数値的な例は、新しいメトリクスを示しています。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Distribution-Free Model-Agnostic Regression Calibration via Nonparametric Methods [9.662269016653296]
  予測モデルの量子化を特徴付けるための個別キャリブレーションの目的について考察する。 既存の方法はほとんどなく、個々のキャリブレーションに関して統計的な保証が欠如している。 基礎となる予測モデルに依存しない単純な非パラメトリックキャリブレーション法を提案する。
  論文  参考訳（メタデータ） (2023-05-20T21:31:51Z)
• Parametric and Multivariate Uncertainty Calibration for Regression and Object Detection [4.630093015127541]
  一般的な検出モデルでは,観測誤差と比較して空間的不確かさが過大評価されている。 実験の結果, 簡便な等速回帰補正法は, 良好な校正不確実性を実現するのに十分であることがわかった。 対照的に、後続のプロセスに正規分布が必要な場合、GP-Normal再校正法が最良の結果をもたらす。
  論文  参考訳（メタデータ） (2022-07-04T08:00:20Z)
• Metrics of calibration for probabilistic predictions [0.0]
  信頼性図」は統計的に有意な相違を検知・診断するのに役立ち、いわゆる「ミススキャリブレーション」と呼ばれる。 標準信頼性図は、予測の観測値と期待値のヒストグラムを示す。 しかし、どの幅のビンやカーネルが最善か? セカントラインの一定のオフセットが無関係である場合でも、スロープは定量的な精度で容易に知覚できる。
  論文  参考訳（メタデータ） (2022-05-19T16:38:24Z)
• Can a single neuron learn predictive uncertainty? [0.0]
  本稿では,一自由度を持つ最も単純なニューラルネットワークアーキテクチャ(単一ニューロン)に基づく,連続確率変数に対する新しい非パラメトリック量子化推定手法を提案する。 実世界の応用では、この手法は分割共形予測設定の下で予測の不確かさの定量化に利用できる。
  論文  参考訳（メタデータ） (2021-06-07T15:12:47Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。