Fugu-MT 論文翻訳(概要): A Ranking Approach for Measuring Calibration

論文の概要: A Ranking Approach for Measuring Calibration

arxiv url: http://arxiv.org/abs/2609.13100v1
Date: Fri, 11 Sep 2026 17:34:25 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-15 07:38:31.827086
Title: A Ranking Approach for Measuring Calibration
Title（参考訳）: キャリブレーション測定のためのランク付け手法
Abstract要約: 予測エラー(ECE)は、最も広く使われている誤校正法である。 rankECE は binned approximations よりも ECE のプロキシが優れている。
参考スコア（独自算出の注目度）: 4.821926501004551
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: When providing forecasted probabilities with a predictive model, the ideal model offers perfect calibration: the true probability of the outcome (i.e., the probability that $Y=1$) exactly matches the forecasted probability $f(X)$. In practice, models inevitably exhibit calibration error, and it is therefore important to be able to measure this miscalibration to assess a model's reliability. The Expected Calibration Error (ECE) is the most widely used measure of miscalibration, but is known to be impossible to estimate the ECE with guaranteed accuracy in an assumption-free setting. In this work, we propose an alternative measure, the rankECE, that is based on comparing points with neighboring values of the predicted probability $f(X)$. Our theoretical guarantees and empirical results establish that rankECE provides a better proxy for ECE as compared to binned approximations to ECE, which are the most commonly-used approximations in practice.
Abstract（参考訳）: 予測確率を予測モデルで提供するとき、理想的なモデルは完全なキャリブレーションを与える:結果の真の確率(すなわち、$Y=1$の確率)は予測された確率$f(X)$と正確に一致する。実際には、モデルは必然的に校正誤差を示すため、モデルの信頼性を評価するためにこの誤校正を計測できることが重要である。期待校正誤差 (ECE) は誤校正の最も広く使われている尺度であるが、仮定のない環境では正確さでCEを推定することは不可能であることが知られている。そこで本研究では,予測確率$f(X)$の近傍値と比較した別の測度である rankECE を提案する。我々の理論的保証と経験的結果から、ランキングECEはECEに対してより優れたプロキシを提供するが、実際は最もよく使われる近似であるECEの双対近似と比較すると、より優れたプロキシを提供する。

関連論文リスト

Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
論文参考訳（メタデータ） (2026-05-29T03:52:44Z)
CATTO: Balancing Preferences and Confidence in Language Models [4.678970068275123]
大規模言語モデル(LLM)は、しばしば正確な次のトークン予測を行うが、これらの予測に対する信頼度は不十分である。本稿では,予測信頼度と経験的予測正しさを一致させる予測キャリブレーションを意識した目標を提案する。出力トークンのベイズ最適選択に校正トークン確率を活用するテスト時間スケーリング機構であるConfidence@kを導入する。
論文参考訳（メタデータ） (2026-01-30T15:43:38Z)
CCE: Confidence-Consistency Evaluation for Time Series Anomaly Detection [56.302586730134806]
本稿では,新しい評価指標である信頼性・一貫性評価(CCE)を紹介する。 CCEは同時に、予測の信頼性と不確実性を測定する。 RankEvalは、さまざまなメトリクスのランキング機能を比較するためのベンチマークです。
論文参考訳（メタデータ） (2025-09-01T03:38:38Z)
Probabilistic Scores of Classifiers, Calibration is not Enough [0.32985979395737786]
二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
論文参考訳（メタデータ） (2024-08-06T19:53:00Z)
Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence [2.13382635602206]
このミスアライメントを測定するための既存のアプローチは、主にキャリブレーションの枠組みの下で開発されている。本稿では,CCE(Congruence Error)という,学習した予測分布とデータセット内の経験的条件分布との間の距離を,条件付きカーネルの平均埋め込みを用いて推定する手法を提案する。我々は高次元回帰タスクを行い、CCEが4つの重要な特性を示すことを示す: $textitcorrectness$, $textitmonotonicity$, $textitreliability$, $textitrobustness$。
論文参考訳（メタデータ） (2024-05-20T23:30:07Z)
Calibrated Selective Classification [34.08454890436067]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文参考訳（メタデータ） (2022-08-25T13:31:09Z)
Usable Region Estimate for Assessing Practical Usability of Medical Image Segmentation Models [32.56957759180135]
医療画像セグメンテーションモデルの実用的ユーザビリティを定量的に測定することを目的としている。まず、予測者の信頼度がランクの正確度スコアとどのように相関しているかを推定する尺度であるCCRC(Correctness-Confidence Rank correlation)を提案する。次に、予測の正しさと信頼度を同時に定量化するURE(Usable Region Estimate)を提案する。
論文参考訳（メタデータ） (2022-07-01T02:33:44Z)
Uncertainty estimation of pedestrian future trajectory using Bayesian approximation [137.00426219455116]
動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
論文参考訳（メタデータ） (2022-05-04T04:23:38Z)
T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文参考訳（メタデータ） (2022-03-03T16:58:54Z)
Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文参考訳（メタデータ） (2021-10-24T10:23:51Z)
Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文参考訳（メタデータ） (2021-10-13T01:23:48Z)
CovarianceNet: Conditional Generative Model for Correct Covariance Prediction in Human Motion Prediction [71.31516599226606]
本稿では,将来の軌道の予測分布に関連する不確かさを正確に予測する手法を提案する。我々のアプローチであるCovariaceNetは、ガウス潜在変数を持つ条件付き生成モデルに基づいている。
論文参考訳（メタデータ） (2021-09-07T09:38:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。