論文の概要: Beyond calibration: estimating the grouping loss of modern neural
networks
- arxiv url: http://arxiv.org/abs/2210.16315v3
- Date: Thu, 27 Apr 2023 12:00:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 17:05:52.124098
- Title: Beyond calibration: estimating the grouping loss of modern neural
networks
- Title(参考訳): キャリブレーションを超えて:現代のニューラルネットワークのグルーピング損失の推定
- Authors: Alexandre Perez-Lebel (SODA), Marine Le Morvan (SODA), Ga\"el
Varoquaux (SODA)
- Abstract要約: 適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。
視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
- 参考スコア(独自算出の注目度): 68.8204255655161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to ensure that a classifier gives reliable confidence scores is
essential to ensure informed decision-making. To this end, recent work has
focused on miscalibration, i.e., the over or under confidence of model scores.
Yet calibration is not enough: even a perfectly calibrated classifier with the
best possible accuracy can have confidence scores that are far from the true
posterior probabilities. This is due to the grouping loss, created by samples
with the same confidence scores but different true posterior probabilities.
Proper scoring rule theory shows that given the calibration loss, the missing
piece to characterize individual errors is the grouping loss. While there are
many estimators of the calibration loss, none exists for the grouping loss in
standard settings. Here, we propose an estimator to approximate the grouping
loss. We show that modern neural network architectures in vision and NLP
exhibit grouping loss, notably in distribution shifts settings, which
highlights the importance of pre-production validation.
- Abstract(参考訳): 分類器が信頼度を確実にする能力は、情報的な意思決定を保証するために不可欠である。
この目的のために、最近の研究は誤校正、すなわちモデルスコアの過度または過小評価に焦点を当てている。
しかし、キャリブレーションは十分ではない: 最高の精度の完全なキャリブレーション分類器でさえ、真の後部確率とは程遠い信頼スコアを持つことができる。
これは、同じ信頼度スコアを持つが真の後方確率が異なるサンプルによって作成されたグループ化損失によるものである。
適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。
キャリブレーション損失には多くの推定要因があるが、標準設定のグルーピング損失は存在していない。
本稿では,グループ化損失を近似する推定器を提案する。
視覚およびNLPにおける現代のニューラルネットワークアーキテクチャはグループ化損失を示し、特に分布シフト設定において、プレプロダクションバリデーションの重要性を強調している。
関連論文リスト
- Reconfidencing LLMs from the Grouping Loss Perspective [53.46677002840564]
大規模言語モデル(LLM)は、自信のある音調で幻覚的な答えを生じさせる可能性がある。
近年の研究では、不確実性制御はキャリブレーションを超えて行わなければならないことが示されている。
そこで我々は,MistralとLLaMAの回答に対する信頼度を評価するために,知識ベースから導出した新しい評価データセットを構築した。
論文 参考訳(メタデータ) (2024-02-07T15:40:22Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳(メタデータ) (2023-10-31T06:19:40Z) - Is this model reliable for everyone? Testing for strong calibration [4.893345190925178]
十分に校正されたリスク予測モデルでは、平均予測確率は任意のサブグループの真の事象率に近い。
強いキャリブレーションのためのモデル監査のタスクは、潜在的な部分群の数が多すぎるため、難しいことが知られている。
適合性試験の最近の進歩は潜在的な解決策を提供するが、弱い信号を持つ設定には設計されていない。
論文 参考訳(メタデータ) (2023-07-28T00:59:14Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳(メタデータ) (2023-03-25T08:56:21Z) - AdaFocal: Calibration-aware Adaptive Focal Loss [8.998525155518836]
焦点損失のあるトレーニングは、クロスエントロピーよりもキャリブレーションが優れている。
AdaFocal と呼ばれる適応型焦点損失を校正する手法を提案する。
論文 参考訳(メタデータ) (2022-11-21T20:19:24Z) - Bayesian Confidence Calibration for Epistemic Uncertainty Modelling [4.358626952482686]
キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。
物体検出校正のための最先端校正性能を実現する。
論文 参考訳(メタデータ) (2021-09-21T10:53:16Z) - Calibrating sufficiently [2.1320960069210475]
グルーピング・ロス(Grouping Los)とは、キャリブレーション・エクササイズで実際に利用される観測可能な情報と情報のギャップを指す。
グループ化損失と充足概念の関係を考察し,コモノトニティを充足のための有用な基準とみなす。
論文 参考訳(メタデータ) (2021-05-15T19:48:28Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳(メタデータ) (2021-02-22T07:22:12Z) - Distribution-free binary classification: prediction sets, confidence
intervals and calibration [106.50279469344937]
分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。
固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。
我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
論文 参考訳(メタデータ) (2020-06-18T14:17:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。