論文の概要: Decision-Aligned Evaluation of Uncertainty Quantification

• arxiv url: http://arxiv.org/abs/2606.26990v1
• Date: Thu, 25 Jun 2026 13:05:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.288811
• Title: Decision-Aligned Evaluation of Uncertainty Quantification
• Title（参考訳）: 不確実性定量化の意思決定による評価
• Abstract要約: 評価基準が下流のユーティリティと有意に一致していることを示す基準である意思決定アライメントを導入する。 本稿では,決定整合性評価を行うための適切なスコアリングルールの特別なクラスである,事前重み付きユーティリティメトリクスを提案する。
• 参考スコア（独自算出の注目度）: 5.535961659952622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty estimates in machine learning are typically evaluated using generic metrics such as the negative log-likelihood and expected calibration error, yet good performance on such metrics does not necessarily imply high utility in downstream decisions. We introduce decision-alignment, a criterion that reveals which evaluation metrics meaningfully align with downstream utilities. Applying this framework, we show that many widely used uncertainty metrics are either misaligned with common decision problems or encode pathological prior beliefs about the downstream task. We then propose prior-weighted utility metrics, a special class of proper scoring rules that provides decision-aligned uncertainty evaluation. Across benchmark experiments and real-world case studies, our metrics consistently align with realized decision utility, while conventional metrics do not. Our results surface flaws in the current UQ evaluation protocol and offer a principled extension of existing metrics toward decision-relevant UQ evaluation.
• Abstract（参考訳）: 機械学習における不確実性推定は、通常、負のログ類似度や期待キャリブレーション誤差などの一般的なメトリクスを使用して評価されるが、そのようなメトリクスの優れたパフォーマンスは、下流の判断において必ずしも有効であるとは限らない。 評価基準を下流のユーティリティと有意義に整合させる基準として,意思決定アライメントを導入する。 この枠組みを適用すると、多くの広く使われている不確実性指標が、一般的な決定問題と不一致であるか、あるいは下流タスクに関する病理学的事前の信念を符号化しているかを示す。 次に、決定整合性評価を提供する適切なスコアリングルールの特別なクラスである、事前重み付きユーティリティメトリクスを提案する。 ベンチマーク実験や実世界のケーススタディを通じて、私たちのメトリクスは実現された意思決定ユーティリティと一貫して一致しますが、従来のメトリクスはそうではありません。 その結果、現在のUQ評価プロトコルの欠陥を表面化し、意思決定関連UQ評価に向けて、既存の指標を原則的に拡張した。

関連論文リスト

• ECUAS$_n$: A family of metrics for principled evaluation of uncertainty-augmented systems [22.79149311211994]
  高精度な自動意思決定では、予測の不確実性へのアクセスが不可欠である。 興味のあるタスクの適切なスコアリングルールとして定式化された新しいメトリクスのファミリーであるECUAS$_n$を提案する。
  論文  参考訳（メタデータ） (2026-05-19T20:55:41Z)
• Uncertainty Quantification for Regression using Proper Scoring Rules [76.24649098854219]
  CRPS,対数,2乗誤差,2次スコアなど,適切なスコアリングルールに基づく回帰のための統一的UQフレームワークを提案する。 実測パラメトリックな仮定に基づく不確実性尺度に対する閉形式式を導出し、モデルのアンサンブルを用いてそれらを推定する方法を示す。 合成および実世界の回帰データセットに対する広範な評価は、信頼性の高いUQ尺度を選択するためのガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-09-30T17:52:12Z)
• CCE: Confidence-Consistency Evaluation for Time Series Anomaly Detection [56.302586730134806]
  本稿では,新しい評価指標である信頼性・一貫性評価(CCE)を紹介する。 CCEは同時に、予測の信頼性と不確実性を測定する。 RankEvalは、さまざまなメトリクスのランキング機能を比較するためのベンチマークです。
  論文  参考訳（メタデータ） (2025-09-01T03:38:38Z)
• A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
  本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。 最適化に基づく最適化手法であるMERITを導入する。 MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
  論文  参考訳（メタデータ） (2025-06-23T19:59:30Z)
• UNCERTAINTY-LINE: Length-Invariant Estimation of Uncertainty for Large Language Models [51.53270695871237]
  UNCERTAINTY-LINEは、名目上は長さ正規化UQ法よりも一貫して改善されていることを示す。 本手法は, ポストホック, モデル非依存であり, 様々なUQ尺度に適用可能である。
  論文  参考訳（メタデータ） (2025-05-25T09:30:43Z)
• SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
  SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。 我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。 我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
  論文  参考訳（メタデータ） (2025-04-19T03:01:45Z)
• A Consequentialist Critique of Binary Classification Evaluation Practices [4.603739046972463]
  ICML、FAccT、CHILといった主要なカンファレンスでは、トップKメトリクスや一定のしきい値が好まれています。 我々は、この決定論的フレームワークを使用して、評価指標を最適なユースケースにマッピングし、Pythonパッケージであるbriertoolsとともに、より広範なBrierスコアの採用を促進する。
  論文  参考訳（メタデータ） (2025-04-06T15:58:01Z)
• Legitimate ground-truth-free metrics for deep uncertainty classification scoring [3.9599054392856483]
  製造における不確実性定量化(UQ)手法の使用は依然として限られている。 この制限は、UQ基底真理を欠いたUQ手法を検証するという課題によってさらに悪化する。 本稿では,これらの指標を考察し,理論的に良好であり,実際に不確実な基礎的真理に結びついていることを証明する。
  論文  参考訳（メタデータ） (2024-10-30T14:14:32Z)
• Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
  不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。 この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
  論文  参考訳（メタデータ） (2022-07-27T07:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。