Fugu-MT 論文翻訳(概要): Schroedinger's Threshold: When the AUC doesn't predict Accuracy

論文の概要: Schroedinger's Threshold: When the AUC doesn't predict Accuracy

arxiv url: http://arxiv.org/abs/2404.03344v2
Date: Mon, 27 May 2024 10:33:40 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 06:07:03.645329
Title: Schroedinger's Threshold: When the AUC doesn't predict Accuracy
Title（参考訳）: Schroedinger氏の主張: AUCが正確性を予測していない場合
Authors: Juri Opitz,
Abstract要約: エリアアンダーカーブ測度(AUC)は、様々なモデルを評価し比較する傾向にある。我々は,AUCが,アプリケーションで観測される実際の精度と誤認できる,学術的で楽観的な精度の概念を導出することを示す。
参考スコア（独自算出の注目度）: 6.091702876917282
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The Area Under Curve measure (AUC) seems apt to evaluate and compare diverse models, possibly without calibration. An important example of AUC application is the evaluation and benchmarking of models that predict faithfulness of generated text. But we show that the AUC yields an academic and optimistic notion of accuracy that can misalign with the actual accuracy observed in application, yielding significant changes in benchmark rankings. To paint a more realistic picture of downstream model performance (and prepare a model for actual application), we explore different calibration modes, testing calibration data and method.
Abstract（参考訳）: エリアアンダーカーブ測度(AUC)は、おそらくキャリブレーションなしで様々なモデルを評価し比較する傾向にある。 AUCアプリケーションの重要な例は、生成されたテキストの忠実度を予測するモデルの評価とベンチマークである。しかし、AUCは、アプリケーションで観測される実際の精度に悪影響を及ぼし得る、学術的で楽観的な精度の概念を示し、ベンチマークのランキングに大きな変化をもたらす。下流モデルの性能のより現実的な図を描く(実際の応用のためのモデルを作成する)ために、異なるキャリブレーションモード、キャリブレーションデータおよびメソッドを探索する。

関連論文リスト

Reassessing How to Compare and Improve the Calibration of Machine Learning Models [7.183341902583164]
結果の予測確率がモデル予測に基づいてその結果の観測周波数と一致した場合、機械学習モデルを校正する。キャリブレーションと予測の指標が追加の一般化の指標を伴わない限り、最先端のように見えるような簡単な再校正手法が存在することを示す。
論文参考訳（メタデータ） (2024-06-06T13:33:45Z)
Optimizing Calibration by Gaining Aware of Prediction Correctness [30.619608580138802]
クロスエントロピー(CE)損失はキャリブレータトレーニングに広く使われており、基底真理クラスに対する信頼を高めるためにモデルを強制する。本稿では, キャリブレーションの目的から得られた, ポストホックキャリブレーションの新たなキャリブレーション手法を提案する。
論文参考訳（メタデータ） (2024-04-19T17:25:43Z)
Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文参考訳（メタデータ） (2023-03-19T20:27:51Z)
On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文参考訳（メタデータ） (2022-12-22T22:05:16Z)
Modular Conformal Calibration [80.33410096908872]
回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。我々は17の回帰データセットに対するMCCの実証的研究を行った。
論文参考訳（メタデータ） (2022-06-23T03:25:23Z)
Revisiting Calibration for Question Answering [16.54743762235555]
従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
論文参考訳（メタデータ） (2022-05-25T05:49:56Z)
T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文参考訳（メタデータ） (2022-03-03T16:58:54Z)
Improving model calibration with accuracy versus uncertainty optimization [17.056768055368384]
適切に校正されたモデルは、その予測が確実であるときに正確であり、不正確な場合に高い不確実性を示すべきである。精度と不確実性の関係を不確実性校正のアンカーとして活用する最適化手法を提案する。平均場変動推定によるアプローチの実証と最先端手法との比較を行った。
論文参考訳（メタデータ） (2020-12-14T20:19:21Z)
Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文参考訳（メタデータ） (2020-06-29T21:50:07Z)
Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。