論文の概要: Explainability through uncertainty: Trustworthy decision-making with neural networks
- arxiv url: http://arxiv.org/abs/2403.10168v1
- Date: Fri, 15 Mar 2024 10:22:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 17:40:24.182081
- Title: Explainability through uncertainty: Trustworthy decision-making with neural networks
- Title(参考訳): 不確実性による説明可能性:ニューラルネットワークによる信頼できる意思決定
- Authors: Arthur Thuy, Dries F. Benoit,
- Abstract要約: 不確実性は、あらゆる機械学習モデルの主要な特徴である。
ニューラルネットワークでは特に重要であり、過信されがちである。
XAIとしての不確実性は、下流の意思決定タスクにおけるモデルの信頼性を改善する。
- 参考スコア(独自算出の注目度): 1.104960878651584
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Uncertainty is a key feature of any machine learning model and is particularly important in neural networks, which tend to be overconfident. This overconfidence is worrying under distribution shifts, where the model performance silently degrades as the data distribution diverges from the training data distribution. Uncertainty estimation offers a solution to overconfident models, communicating when the output should (not) be trusted. Although methods for uncertainty estimation have been developed, they have not been explicitly linked to the field of explainable artificial intelligence (XAI). Furthermore, literature in operations research ignores the actionability component of uncertainty estimation and does not consider distribution shifts. This work proposes a general uncertainty framework, with contributions being threefold: (i) uncertainty estimation in ML models is positioned as an XAI technique, giving local and model-specific explanations; (ii) classification with rejection is used to reduce misclassifications by bringing a human expert in the loop for uncertain observations; (iii) the framework is applied to a case study on neural networks in educational data mining subject to distribution shifts. Uncertainty as XAI improves the model's trustworthiness in downstream decision-making tasks, giving rise to more actionable and robust machine learning systems in operations research.
- Abstract(参考訳): 不確実性は、あらゆる機械学習モデルの主要な特徴であり、ニューラルネットワークにおいて特に重要であり、過信される傾向がある。
データ分布がトレーニングデータ分布から分岐するにつれて、モデルの性能は静かに低下する。
不確実性推定は、アウトプットが信頼できる(そうでない)ときに通信する、過信モデルに対するソリューションを提供する。
不確実性推定法は開発されているが、説明可能な人工知能(XAI)の分野と明確に関連付けられていない。
さらに、運用研究における文献は、不確実性推定の動作可能性成分を無視し、分布シフトを考慮しない。
この研究は、貢献が3倍になる一般的な不確実性フレームワークを提案する。
i) MLモデルの不確実性をXAI手法として位置づけ、局所的及びモデル固有の説明を与える。
二 否定を伴う分類は、不確実な観察のために人的専門家をループに入れ、誤分類を減らすために用いられる。
三 この枠組みは、分散シフトを考慮した教育データマイニングにおけるニューラルネットワークのケーススタディに適用する。
XAIとしての不確実性は、下流の意思決定タスクにおけるモデルの信頼性を改善し、オペレーション研究においてより実用的な、堅牢な機械学習システムを生み出します。
関連論文リスト
- Error-Driven Uncertainty Aware Training [7.702016079410588]
Error-Driven Uncertainty Aware Trainingは、ニューラル分類器が不確実性を正確に推定する能力を高めることを目的としている。
EUATアプローチは、モデルのトレーニングフェーズ中に、トレーニング例が正しく予測されているか、あるいは正しく予測されているかによって、2つの損失関数を選択的に使用することによって機能する。
画像認識領域における多様なニューラルモデルとデータセットを用いてEUATを評価する。
論文 参考訳(メタデータ) (2024-05-02T11:48:14Z) - Identifying Drivers of Predictive Aleatoric Uncertainty [2.5311562666866494]
本稿では,予測的アレタリック不確実性を説明するための簡単なアプローチを提案する。
我々は、ガウス出力分布にニューラルネットワークを適用することにより、不確実性を予測分散として推定する。
我々は、実世界のデータセットを含むニュアンスなベンチマーク分析を用いて、この結果の定量化を行う。
論文 参考訳(メタデータ) (2023-12-12T13:28:53Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳(メタデータ) (2023-08-03T12:43:21Z) - Neural State-Space Models: Empirical Evaluation of Uncertainty
Quantification [0.0]
本稿では,ニューラル状態空間モデルを用いたシステム同定のための不確実性定量化に関する予備的結果を示す。
ベイズ確率的設定で学習問題をフレーム化し、ニューラルネットワークの重みと出力の後方分布を求める。
後部に基づいて,出力の信頼区間を構築し,潜在的に危険なアウト・オブ・ディストリビューション体制下でモデルの使用を効果的に診断できるサプライズ指標を定義する。
論文 参考訳(メタデータ) (2023-04-13T08:57:33Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳(メタデータ) (2022-10-24T17:53:20Z) - Robust uncertainty estimates with out-of-distribution pseudo-inputs
training [0.0]
我々は、信頼性のあるデータを与えられていない不確実性予測器を明示的に訓練することを提案する。
データ無しでは訓練できないので、入力空間の情報的低密度領域において擬似入力を生成するメカニズムを提供する。
総合的な評価により、様々なタスクにおける最先端性能を維持しながら、不確実性の頑健かつ解釈可能な予測が得られることを示す。
論文 参考訳(メタデータ) (2022-01-15T17:15:07Z) - Approaching Neural Network Uncertainty Realism [53.308409014122816]
自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。
マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。
自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
論文 参考訳(メタデータ) (2021-01-08T11:56:12Z) - Uncertainty Estimation and Calibration with Finite-State Probabilistic
RNNs [29.84563789289183]
不確かさの定量化は、信頼性と信頼性のある機械学習システムを構築するために不可欠である。
本稿では、リカレントニューラルネットワーク(RNN)における離散状態遷移による不確実性の推定を提案する。
モデルの不確実性は、繰り返し状態遷移分布からサンプリングするたびに、予測を数回実行することで定量化することができる。
論文 参考訳(メタデータ) (2020-11-24T10:35:28Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳(メタデータ) (2020-11-15T17:26:14Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。