論文の概要: When Does Optimizing a Proper Loss Yield Calibration?

• arxiv url: http://arxiv.org/abs/2305.18764v2
• Date: Fri, 8 Dec 2023 05:05:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 19:05:43.316432
• Title: When Does Optimizing a Proper Loss Yield Calibration?
• Title（参考訳）: 適正化はいつ収量校正を損なうか?
• Authors: Jaros{\l}aw B{\l}asiok, Parikshit Gopalan, Lunjia Hu, Preetum Nakkiran
• Abstract要約: 局所最適性を持つ任意の予測器が滑らかなキャリブレーションを満たすことを示す。 また,局所最適度とキャリブレーション誤差の関連性も両立していることが示唆された。
• 参考スコア（独自算出の注目度）: 12.684962113589515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimizing proper loss functions is popularly believed to yield predictors with good calibration properties; the intuition being that for such losses, the global optimum is to predict the ground-truth probabilities, which is indeed calibrated. However, typical machine learning models are trained to approximately minimize loss over restricted families of predictors, that are unlikely to contain the ground truth. Under what circumstances does optimizing proper loss over a restricted family yield calibrated models? What precise calibration guarantees does it give? In this work, we provide a rigorous answer to these questions. We replace the global optimality with a local optimality condition stipulating that the (proper) loss of the predictor cannot be reduced much by post-processing its predictions with a certain family of Lipschitz functions. We show that any predictor with this local optimality satisfies smooth calibration as defined in Kakade-Foster (2008), B{\l}asiok et al. (2023). Local optimality is plausibly satisfied by well-trained DNNs, which suggests an explanation for why they are calibrated from proper loss minimization alone. Finally, we show that the connection between local optimality and calibration error goes both ways: nearly calibrated predictors are also nearly locally optimal.
• Abstract（参考訳）: 適切な損失関数の最適化は、高いキャリブレーション特性を持つ予測器をもたらすと一般的に信じられており、直観的に言えば、この損失の全体的な最適は、実際にキャリブレーションされる地対地確率を予測することである。 しかし、一般的な機械学習モデルは、基礎的真実を含まない予測者の制限された家族に対する損失をほぼ最小に抑えるよう訓練されている。 制限された家族収量校正モデルに対する適切な損失の最適化はどのような状況で可能か? どんな正確なキャリブレーションが保証されますか。 本研究では,これらの質問に対する厳密な回答を提供する。 我々は、この大域的最適性を、リプシッツ関数の族で予測を後処理することで、予測器の(適切な)損失を低減できないという局所最適条件に置き換える。 この局所最適性を持つ予測器は、kakade-foster (2008), b{\l}asiok et al. (2023) で定義された滑らかなキャリブレーションを満たす。 局所的最適性は、適切に訓練されたdnnによって実現され、それが適切な損失最小化のみから校正される理由が示唆される。 最後に,局所的最適度とキャリブレーション誤差の相関関係を両方向で示す: ほぼ校正された予測器もほぼ局所的最適である。

関連論文リスト

• Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
  校正誤差と校正誤差は,訓練中に同時に最小化されないことを示す。 我々は,早期停止とハイパーパラメータチューニングのための新しい指標を導入し,トレーニング中の改善誤差を最小限に抑える。 本手法は,任意のアーキテクチャとシームレスに統合し,多様な分類タスクにおける性能を継続的に向上する。
  論文  参考訳（メタデータ） (2025-01-31T15:03:54Z)
• Calibrating Deep Neural Network using Euclidean Distance [5.675312975435121]
  機械学習では、Focal Lossは、サンプルの分類が難しいことを強調することで、誤分類率を減らすために一般的に使用される。 高校正誤差は予測確率と実際の結果との相違を示し、モデルの信頼性に影響を及ぼす。 本研究では,FCL (Focal Loss) と呼ばれる新しい損失関数を導入する。
  論文  参考訳（メタデータ） (2024-10-23T23:06:50Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。 我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Consistent and Asymptotically Unbiased Estimation of Proper Calibration Errors [23.819464242327257]
  本稿では,全ての適切な校正誤差と精錬項を一貫した推定を可能にする手法を提案する。 ニューラルネットワークにおける情報単調性を意味するf-分節と精製の関係を実証する。 本実験は,提案した推定器のクレーム特性を検証し,特に関心のキャリブレーション誤差によって,ポストホックキャリブレーション法の選択が決定されるべきであることを示唆した。
  論文  参考訳（メタデータ） (2023-12-14T01:20:08Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Better Uncertainty Calibration via Proper Scores for Classification and Beyond [15.981380319863527]
  各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。 この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
  論文  参考訳（メタデータ） (2022-03-15T12:46:08Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Online Calibrated and Conformal Prediction Improves Bayesian Optimization [10.470326550507117]
  本稿では,モデルに基づく意思決定やベイズ最適化における不確実性について検討する。 しかし、キャリブレーションの維持は、データが定常的ではなく、我々の行動に依存する場合、困難である。 我々は、オンライン学習に基づく簡単なアルゴリズムを用いて、非i.d.データのキャリブレーションを確実に維持することを提案する。
  論文  参考訳（メタデータ） (2021-12-08T23:26:23Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。