論文の概要: A Novel Framework for Uncertainty Quantification via Proper Scores for Classification and Beyond

• arxiv url: http://arxiv.org/abs/2508.18001v1
• Date: Mon, 25 Aug 2025 13:11:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.788063
• Title: A Novel Framework for Uncertainty Quantification via Proper Scores for Classification and Beyond
• Title（参考訳）: 適切なスコアによる不確実性定量化のための新しいフレームワーク
• Authors: Sebastian G. Gruber,
• Abstract要約: 本稿では,機械学習における不確実性定量化のための新しい枠組みを提案する。 具体的には、カーネルベースの適切なスコアであるカーネルスコアを用いて、サンプルベースの生成モデルを評価する。 キャリブレーション・シャープネスの分解を分類を超えて一般化し、適切なキャリブレーション誤差の定義を動機付ける。
• 参考スコア（独自算出の注目度）: 1.5229257192293202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this PhD thesis, we propose a novel framework for uncertainty quantification in machine learning, which is based on proper scores. Uncertainty quantification is an important cornerstone for trustworthy and reliable machine learning applications in practice. Usually, approaches to uncertainty quantification are problem-specific, and solutions and insights cannot be readily transferred from one task to another. Proper scores are loss functions minimized by predicting the target distribution. Due to their very general definition, proper scores apply to regression, classification, or even generative modeling tasks. We contribute several theoretical results, that connect epistemic uncertainty, aleatoric uncertainty, and model calibration with proper scores, resulting in a general and widely applicable framework. We achieve this by introducing a general bias-variance decomposition for strictly proper scores via functional Bregman divergences. Specifically, we use the kernel score, a kernel-based proper score, for evaluating sample-based generative models in various domains, like image, audio, and natural language generation. This includes a novel approach for uncertainty estimation of large language models, which outperforms state-of-the-art baselines. Further, we generalize the calibration-sharpness decomposition beyond classification, which motivates the definition of proper calibration errors. We then introduce a novel estimator for proper calibration errors in classification, and a novel risk-based approach to compare different estimators for squared calibration errors. Last, we offer a decomposition of the kernel spherical score, another kernel-based proper score, allowing a more fine-grained and interpretable evaluation of generative image models.
• Abstract（参考訳）: 本稿では,機械学習における不確実性定量化のための新しい枠組みを提案する。 不確かさの定量化は、実際は信頼できる機械学習アプリケーションにとって重要な基盤である。 通常、不確実性定量化へのアプローチは問題固有であり、解と洞察は、あるタスクから別のタスクへ容易に移動できない。 適切なスコアは、目標分布を予測することで損失関数を最小化する。 非常に一般的な定義のため、回帰、分類、あるいは生成的モデリングタスクにも適切なスコアが適用される。 本稿では, 疫学的な不確実性, アレター的不確実性, モデル校正と適切なスコアを結びつけて, 一般に広く適用可能な枠組みを構築した。 関数的ブレグマン発散による厳密な適切なスコアに対する一般的なバイアス分散分解を導入することでこれを実現できる。 具体的には、カーネルベースの適切なスコアであるカーネルスコアを用いて、画像、オーディオ、自然言語生成など、さまざまな領域におけるサンプルベースの生成モデルを評価する。 これには、最先端のベースラインを上回る大きな言語モデルの不確実性推定のための新しいアプローチが含まれる。 さらに、適切な校正誤差の定義を動機づける分類以外の校正シャープネスの分解を一般化する。 次に、分類における適切なキャリブレーション誤差に対する新しい推定器と、正方形キャリブレーション誤差に対する異なる推定器を比較するためのリスクベースアプローチを導入する。 最後に、カーネル球面スコア(カーネルベース別の固有スコア)の分解を行い、生成画像モデルのよりきめ細やかで解釈可能な評価を可能にする。

関連論文リスト

• Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
  キャリブレーション・リファインメント分解の新規な変分定式化について述べる。 我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-01-31T15:03:54Z)
• Improving Predictor Reliability with Selective Recalibration [15.319277333431318]
  リカレーションは、事前訓練されたモデルで信頼性の高い信頼度を推定する最も効果的な方法の1つである。 そこで我々は,選択モデルがユーザの選択比率を下げることを学ぶテキスト選択的リカレーションを提案する。 以上の結果から,選択的再校正は幅広い選択基準と再校正基準よりも,キャリブレーション誤差が著しく低いことが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T18:17:31Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Training Normalizing Flows with the Precision-Recall Divergence [73.92251251511199]
  特定精度リコールトレードオフを達成することは、em PR-divergencesと呼ぶ家族からの-divergencesの最小化に相当することを示す。 本稿では, 正規化フローをトレーニングして, 偏差を最小化し, 特に, 所与の高精度リコールトレードオフを実現する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-01T17:46:47Z)
• Calibration tests beyond classification [30.616624345970973]
  ほとんどの教師付き機械学習タスクは、既約予測エラーを被る。 確率論的予測モデルは、妥当な目標に対する信念を表す確率分布を提供することによって、この制限に対処する。 校正されたモデルは、予測が過信でも過信でもないことを保証します。
  論文  参考訳（メタデータ） (2022-10-21T09:49:57Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。