論文の概要: DAUX: a Density-based Approach for Uncertainty eXplanations
- arxiv url: http://arxiv.org/abs/2207.05161v1
- Date: Mon, 11 Jul 2022 19:47:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-13 13:27:24.330252
- Title: DAUX: a Density-based Approach for Uncertainty eXplanations
- Title(参考訳): DAUX:不確実性eXplanationsに対する密度に基づくアプローチ
- Authors: Hao Sun, Boris van Breugel, Jonathan Crabbe, Nabeel Seedat, Mihaela
van der Schaar
- Abstract要約: 不確実性定量化(UQ)は、信頼できる機械学習モデルを作成する上で不可欠である。
近年、疑わしい事例にフラグを立てるUQ手法が急上昇している。
本稿では,UQモデル自体を解釈するための仮定ライト手法を提案する。
- 参考スコア(独自算出の注目度): 72.59018292013009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty quantification (UQ) is essential for creating trustworthy machine
learning models. Recent years have seen a steep rise in UQ methods that can
flag suspicious examples, however, it is often unclear what exactly these
methods identify. In this work, we propose an assumption-light method for
interpreting UQ models themselves. We introduce the confusion density matrix --
a kernel-based approximation of the misclassification density -- and use this
to categorize suspicious examples identified by a given UQ method into three
classes: out-of-distribution (OOD) examples, boundary (Bnd) examples, and
examples in regions of high in-distribution misclassification (IDM). Through
extensive experiments, we shed light on existing UQ methods and show that the
cause of the uncertainty differs across models. Additionally, we show how the
proposed framework can make use of the categorized examples to improve
predictive performance.
- Abstract(参考訳): 不確実性定量化(UQ)は、信頼できる機械学習モデルを作成する上で不可欠である。
近年、疑わしい例を示すuqメソッドが急増しているが、これらの方法が正確に何であるかはよく分かっていない。
本研究では,UQモデル自体を解釈するための仮定ライト法を提案する。
本稿では, 乱れ密度行列(カーネルによる誤分類密度の近似)を導入し, 与えられたUQ法で特定された疑わしい例を, 分布外(OOD)例, 境界(Bnd)例, 高分布不等化(IDM)例の3つのクラスに分類する。
大規模な実験を通じて、既存のUQ手法に光を当て、不確実性の原因がモデルによって異なることを示す。
さらに,提案フレームワークは,予測性能を向上させるために分類例をいかに活用できるかを示す。
関連論文リスト
- Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-05T16:35:30Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳(メタデータ) (2024-03-05T11:44:14Z) - One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。
幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
論文 参考訳(メタデータ) (2023-12-16T14:59:11Z) - Uncertainty in Additive Feature Attribution methods [34.80932512496311]
本稿では,付加的特徴帰属説明法のクラスに焦点をあてる。
特徴の属性と不確実性との関係を考察し,相関関係をほとんど観察しない。
このようなインスタンスに対して"stable instance"という用語を作り、インスタンスを安定させる要因を診断します。
論文 参考訳(メタデータ) (2023-11-29T08:40:46Z) - A Data-Driven Measure of Relative Uncertainty for Misclassification
Detection [25.947610541430013]
誤分類検出のための観測者に対して,不確実性に関するデータ駆動測度を導入する。
ソフト予測の分布パターンを学習することにより,不確実性を測定することができる。
複数の画像分類タスクに対する経験的改善を示し、最先端の誤分類検出方法より優れていることを示す。
論文 参考訳(メタデータ) (2023-06-02T17:32:03Z) - Benchmarking common uncertainty estimation methods with
histopathological images under domain shift and label noise [62.997667081978825]
リスクの高い環境では、深層学習モデルは不確実性を判断し、誤分類の可能性がかなり高い場合に入力を拒否しなければなりません。
我々は,全スライド画像の分類において,最もよく使われている不確実性と頑健さの厳密な評価を行う。
我々は一般的に,手法のアンサンブルが,ドメインシフトやラベルノイズに対するロバスト性の向上とともに,より良い不確実性評価につながることを観察する。
論文 参考訳(メタデータ) (2023-01-03T11:34:36Z) - Uncertainty-Aware Reliable Text Classification [21.517852608625127]
ディープニューラルネットワークは、分類タスクの予測精度の成功に大きく貢献している。
ドメインシフトやアウト・オブ・ディストリビューション(out-of-distribution)の例が存在する現実の環境では、過度に信頼された予測を行う傾向があります。
補助外乱と擬似外乱サンプルを併用して, あるクラスの事前知識でモデルを訓練する, 安価なフレームワークを提案する。
論文 参考訳(メタデータ) (2021-07-15T04:39:55Z) - Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep
Learning [70.72363097550483]
本研究では,画像分類における領域内不確実性に着目した。
そこで本研究では,ディープアンサンブル等価スコア(DEE)を導入する。
論文 参考訳(メタデータ) (2020-02-15T23:28:19Z) - On Last-Layer Algorithms for Classification: Decoupling Representation
from Uncertainty Estimation [27.077741143188867]
本稿では,分類課題を表現学習と不確実性推定の2段階に分けたアルゴリズム群を提案する。
選択的分類(リスクカバレッジ)および分布外サンプルの検出能力の観点から,それらの性能を評価する。
論文 参考訳(メタデータ) (2020-01-22T15:08:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。