論文の概要: Legitimate ground-truth-free metrics for deep uncertainty classification scoring

• arxiv url: http://arxiv.org/abs/2410.23046v1
• Date: Wed, 30 Oct 2024 14:14:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:27:00.624169
• Title: Legitimate ground-truth-free metrics for deep uncertainty classification scoring
• Title（参考訳）: 深部不確実性分類のための相対的地層トラスフリー指標
• Authors: Arthur Pignet, Chiara Regniez, John Klein,
• Abstract要約: 製造における不確実性定量化(UQ)手法の使用は依然として限られている。 この制限は、UQ基底真理を欠いたUQ手法を検証するという課題によってさらに悪化する。 本稿では,これらの指標を考察し,理論的に良好であり,実際に不確実な基礎的真理に結びついていることを証明する。
• 参考スコア（独自算出の注目度）: 3.9599054392856483
• License:
• Abstract: Despite the increasing demand for safer machine learning practices, the use of Uncertainty Quantification (UQ) methods in production remains limited. This limitation is exacerbated by the challenge of validating UQ methods in absence of UQ ground truth. In classification tasks, when only a usual set of test data is at hand, several authors suggested different metrics that can be computed from such test points while assessing the quality of quantified uncertainties. This paper investigates such metrics and proves that they are theoretically well-behaved and actually tied to some uncertainty ground truth which is easily interpretable in terms of model prediction trustworthiness ranking. Equipped with those new results, and given the applicability of those metrics in the usual supervised paradigm, we argue that our contributions will help promoting a broader use of UQ in deep learning.
• Abstract（参考訳）: より安全な機械学習プラクティスの需要が高まっているにもかかわらず、生産における不確実性定量化(UQ)メソッドの使用は制限されている。 この制限は、UQ基底真理を欠いたUQ手法を検証するという課題によってさらに悪化する。 分類タスクでは、通常のテストデータのセットのみが手元にある場合、いくつかの著者は、定量化された不確実性の質を評価しながら、そのようなテストポイントから計算できる異なるメトリクスを提案した。 本稿では,これらの指標を考察し,モデル予測信頼性ランキングにおいて容易に解釈可能な,理論的に良好であり,実際に不確実な基礎的真理に結びついていることを証明する。 これらの新たな結果と、通常の教師付きパラダイムにおけるメトリクスの適用性を考慮して、私たちの貢献は、ディープラーニングにおけるより広範なUQの利用を促進する上で有効である、と私たちは主張する。

関連論文リスト

• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)
• Comparing the quality of neural network uncertainty estimates for classification problems [0.0]
  深層学習(DL)モデルに対する不確実性定量化(UQ)手法は,本研究で注目されている。 我々は,信頼区間の品質を評価するために,頻繁な区間範囲と区間幅の統計的手法を用いる。 本稿では、これらの異なるUQ for DL法をハイパースペクトル画像目標検出問題に適用し、異なる手法の結果の不整合を示す。
  論文  参考訳（メタデータ） (2023-08-11T01:55:14Z)
• Conformal Methods for Quantifying Uncertainty in Spatiotemporal Data: A Survey [0.0]
  高リスク環境では、モデルが自身の信頼を反映し、失敗を避けるために不確実性を生み出すことが重要である。 本稿では, ディープラーニングにおける不確実性(UQ)に関する最近の研究, 特に, 数学的, 広範に適用可能な分布自由な等角予測法について調査する。
  論文  参考訳（メタデータ） (2022-09-08T06:08:48Z)
• Uncertainty-Driven Action Quality Assessment [67.20617610820857]
  本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。 我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。 提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
  論文  参考訳（メタデータ） (2022-07-29T07:21:15Z)
• Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
  不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。 この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
  論文  参考訳（メタデータ） (2022-07-27T07:50:57Z)
• What is Flagged in Uncertainty Quantification? Latent Density Models for Uncertainty Categorization [68.15353480798244]
  不確実性定量化(UQ)は、信頼できる機械学習モデルを作成する上で不可欠である。 近年、疑わしい事例にフラグを立てるUQ手法が急上昇している。 分類タスクにおけるUQ手法によってフラグ付けされた不確実な例を分類する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-07-11T19:47:00Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Empirical Frequentist Coverage of Deep Learning Uncertainty Quantification Procedures [13.890139530120164]
  本研究では,不確実性定量化手法の実証的頻繁性カバレッジ特性について,最初の大規模評価を行った。 一般に,いくつかの手法は分布サンプルにおいて望ましいカバレッジ特性を実現するが,分布外データではカバレッジが維持されない。
  論文  参考訳（メタデータ） (2020-10-06T21:22:46Z)
• Uncertainty Quantification Using Neural Networks for Molecular Property Prediction [33.34534208450156]
  複数の相補的な性能指標を用いて,5つのベンチマークデータセット上で複数の手法を体系的に評価した。 テストしたどのメソッドも他のどのメソッドよりも絶対的に優れているわけではなく、複数のデータセットにまたがって特に信頼性の高いエラーランキングを生成するものもありません。 我々は,既存の技術が他とよく関係しているように見えるものについて,実践的な勧告で結論付けている。
  論文  参考訳（メタデータ） (2020-05-20T13:31:20Z)
• Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep Learning [70.72363097550483]
  本研究では,画像分類における領域内不確実性に着目した。 そこで本研究では,ディープアンサンブル等価スコア(DEE)を導入する。
  論文  参考訳（メタデータ） (2020-02-15T23:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。