論文の概要: What is Flagged in Uncertainty Quantification? Latent Density Models for Uncertainty Categorization

• arxiv url: http://arxiv.org/abs/2207.05161v2
• Date: Fri, 27 Oct 2023 19:09:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 01:24:22.349268
• Title: What is Flagged in Uncertainty Quantification? Latent Density Models for Uncertainty Categorization
• Title（参考訳）: 不確実性定量化のフラグは何か? 不確かさ分類のための潜在密度モデル
• Authors: Hao Sun, Boris van Breugel, Jonathan Crabbe, Nabeel Seedat, Mihaela van der Schaar
• Abstract要約: 不確実性定量化(UQ)は、信頼できる機械学習モデルを作成する上で不可欠である。 近年、疑わしい事例にフラグを立てるUQ手法が急上昇している。 分類タスクにおけるUQ手法によってフラグ付けされた不確実な例を分類する枠組みを提案する。
• 参考スコア（独自算出の注目度）: 68.15353480798244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty Quantification (UQ) is essential for creating trustworthy machine learning models. Recent years have seen a steep rise in UQ methods that can flag suspicious examples, however, it is often unclear what exactly these methods identify. In this work, we propose a framework for categorizing uncertain examples flagged by UQ methods in classification tasks. We introduce the confusion density matrix -- a kernel-based approximation of the misclassification density -- and use this to categorize suspicious examples identified by a given uncertainty method into three classes: out-of-distribution (OOD) examples, boundary (Bnd) examples, and examples in regions of high in-distribution misclassification (IDM). Through extensive experiments, we show that our framework provides a new and distinct perspective for assessing differences between uncertainty quantification methods, thereby forming a valuable assessment benchmark.
• Abstract（参考訳）: 不確実性定量化(UQ)は、信頼できる機械学習モデルを作成する上で不可欠である。 近年、疑わしい例を示すuqメソッドが急増しているが、これらの方法が正確に何であるかはよく分かっていない。 そこで本研究では,UQ手法でフラグ付けされた不確実な事例を分類タスクで分類する枠組みを提案する。 本稿では、カーネルによる誤分類密度の近似である混乱密度行列を導入し、不確実性法によって特定された疑わしい例を、3つのクラスに分類する:out-of-distriion (OOD)例、境界(Bnd)例、高分布誤分類(IDM)領域における例である。 広範な実験を通じて,不確実性定量化法の違いを評価するための新たな,明確な視点を提供し,価値ある評価ベンチマークを形成することを実証した。

関連論文リスト

• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
  そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。 幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
  論文  参考訳（メタデータ） (2023-12-16T14:59:11Z)
• Uncertainty in Additive Feature Attribution methods [34.80932512496311]
  本稿では,付加的特徴帰属説明法のクラスに焦点をあてる。 特徴の属性と不確実性との関係を考察し,相関関係をほとんど観察しない。 このようなインスタンスに対して"stable instance"という用語を作り、インスタンスを安定させる要因を診断します。
  論文  参考訳（メタデータ） (2023-11-29T08:40:46Z)
• A Data-Driven Measure of Relative Uncertainty for Misclassification Detection [25.947610541430013]
  誤分類検出のための観測者に対して,不確実性に関するデータ駆動測度を導入する。 ソフト予測の分布パターンを学習することにより,不確実性を測定することができる。 複数の画像分類タスクに対する経験的改善を示し、最先端の誤分類検出方法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-02T17:32:03Z)
• Benchmarking common uncertainty estimation methods with histopathological images under domain shift and label noise [62.997667081978825]
  リスクの高い環境では、深層学習モデルは不確実性を判断し、誤分類の可能性がかなり高い場合に入力を拒否しなければなりません。 我々は,全スライド画像の分類において,最もよく使われている不確実性と頑健さの厳密な評価を行う。 我々は一般的に,手法のアンサンブルが,ドメインシフトやラベルノイズに対するロバスト性の向上とともに,より良い不確実性評価につながることを観察する。
  論文  参考訳（メタデータ） (2023-01-03T11:34:36Z)
• Uncertainty-Aware Reliable Text Classification [21.517852608625127]
  ディープニューラルネットワークは、分類タスクの予測精度の成功に大きく貢献している。 ドメインシフトやアウト・オブ・ディストリビューション(out-of-distribution)の例が存在する現実の環境では、過度に信頼された予測を行う傾向があります。 補助外乱と擬似外乱サンプルを併用して, あるクラスの事前知識でモデルを訓練する, 安価なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-15T04:39:55Z)
• Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep Learning [70.72363097550483]
  本研究では,画像分類における領域内不確実性に着目した。 そこで本研究では,ディープアンサンブル等価スコア(DEE)を導入する。
  論文  参考訳（メタデータ） (2020-02-15T23:28:19Z)
• On Last-Layer Algorithms for Classification: Decoupling Representation from Uncertainty Estimation [27.077741143188867]
  本稿では,分類課題を表現学習と不確実性推定の2段階に分けたアルゴリズム群を提案する。 選択的分類(リスクカバレッジ)および分布外サンプルの検出能力の観点から,それらの性能を評価する。
  論文  参考訳（メタデータ） (2020-01-22T15:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。