論文の概要: A Structured Review of Literature on Uncertainty in Machine Learning & Deep Learning
- arxiv url: http://arxiv.org/abs/2406.00332v1
- Date: Sat, 1 Jun 2024 07:17:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 07:34:33.665711
- Title: A Structured Review of Literature on Uncertainty in Machine Learning & Deep Learning
- Title（参考訳）: 機械学習とディープラーニングにおける不確実性に関する文献の構造化
- Authors: Fahimeh Fakour, Ali Mosleh, Ramin Ramezani,
- Abstract要約: 我々は、リスクに敏感なアプリケーション、すなわち不確実性を理解し、定量化するアプリケーションにおいて、機械学習を適応するための重要な関心事に焦点を当てる。
本稿では,このトピックを構造化した方法でアプローチし,不確実性がMLプロセスに封入されているというさまざまな側面の文献をレビューする。
このレビューの主な貢献は、不確実性議論の範囲を広げ、Deep Learningにおける不確実性定量化手法のレビューを更新することである。
- 参考スコア（独自算出の注目度）: 0.8667724053232616
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The adaptation and use of Machine Learning (ML) in our daily lives has led to concerns in lack of transparency, privacy, reliability, among others. As a result, we are seeing research in niche areas such as interpretability, causality, bias and fairness, and reliability. In this survey paper, we focus on a critical concern for adaptation of ML in risk-sensitive applications, namely understanding and quantifying uncertainty. Our paper approaches this topic in a structured way, providing a review of the literature in the various facets that uncertainty is enveloped in the ML process. We begin by defining uncertainty and its categories (e.g., aleatoric and epistemic), understanding sources of uncertainty (e.g., data and model), and how uncertainty can be assessed in terms of uncertainty quantification techniques (Ensembles, Bayesian Neural Networks, etc.). As part of our assessment and understanding of uncertainty in the ML realm, we cover metrics for uncertainty quantification for a single sample, dataset, and metrics for accuracy of the uncertainty estimation itself. This is followed by discussions on calibration (model and uncertainty), and decision making under uncertainty. Thus, we provide a more complete treatment of uncertainty: from the sources of uncertainty to the decision-making process. We have focused the review of uncertainty quantification methods on Deep Learning (DL), while providing the necessary background for uncertainty discussion within ML in general. Key contributions in this review are broadening the scope of uncertainty discussion, as well as an updated review of uncertainty quantification methods in DL.
- Abstract（参考訳）: 私たちの日常生活における機械学習(ML)の適応と利用は、透明性、プライバシ、信頼性などの欠如に悩まされている。
その結果,解釈可能性,因果性,偏見,公平性,信頼性などのニッチ分野の研究が注目されている。
本稿では、リスクに敏感なアプリケーション、すなわち不確実性を理解し定量化するアプリケーションにおけるMLの適応に対する重要な懸念に焦点を当てる。
本稿では,このトピックを構造化した方法でアプローチし,不確実性がMLプロセスに封入されているというさまざまな側面の文献をレビューする。
まず、不確実性とそのカテゴリ(例えば、失語症やてんかん)を定義し、不確実性の原因(例えば、データやモデル)を理解し、不確実性定量化技術(アンサンブル、ベイズニューラルネットワークなど)で不確実性を評価することから始める。
ML領域における不確実性の評価と理解の一環として、単一のサンプル、データセット、および不確実性推定自体の精度に関する不確実性定量化のメトリクスを網羅する。
この後、キャリブレーション(モデルと不確実性)と不確実性に基づく意思決定に関する議論が続く。
したがって、不確実性の原因から意思決定プロセスまで、より完全な不確実性処理を提供する。
我々は,ディープラーニング(DL)における不確実性定量化手法の見直しに焦点を合わせ,ML内における不確実性議論の背景を提供する。
このレビューの主な貢献は、不確実性議論の範囲を広げることと、DLにおける不確実性定量化手法の見直しである。
関連論文リスト
- Label-wise Aleatoric and Epistemic Uncertainty Quantification [15.642370299038488]
本稿では,不確実性尺度のラベルワイズ分解に基づく分類タスクにおける不確実性定量化手法を提案する。
提案手法は,いくつかの望ましい特性に則っていることを示す。
論文 参考訳（メタデータ） (2024-06-04T14:33:23Z) - Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach [6.209293868095268]
まず LLM の不確実性推定問題を定式化し,ラベル付きデータセットを利用する教師付きアプローチを提案する。
本手法は,ブラックボックス,グレイボックス,ホワイトボックスなど,モデルアクセシビリティの異なるレベルに適応し,実装が容易である。
論文 参考訳（メタデータ） (2024-04-24T17:10:35Z) - One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。
幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
論文 参考訳（メタデータ） (2023-12-16T14:59:11Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - Uncertainty in Natural Language Processing: Sources, Quantification, and
Applications [56.130945359053776]
NLP分野における不確実性関連作業の総合的なレビューを行う。
まず、自然言語の不確実性の原因を、入力、システム、出力の3つのタイプに分類する。
我々は,NLPにおける不確実性推定の課題について論じ,今後の方向性について論じる。
論文 参考訳（メタデータ） (2023-06-05T06:46:53Z) - Gradient-based Uncertainty Attribution for Explainable Bayesian Deep
Learning [38.34033824352067]
ディープラーニングモデルによる予測は、データ摂動、敵攻撃、アウト・オブ・ディストリビューション・インプットの傾向が強い。
本稿では,正確な不確実性定量化を行うための説明可能かつ実用的なベイズ深層学習法を提案する。
論文 参考訳（メタデータ） (2023-04-10T19:14:15Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳（メタデータ） (2023-03-03T16:12:59Z) - DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。
一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文 参考訳（メタデータ） (2021-02-16T23:50:35Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳（メタデータ） (2020-11-15T17:26:14Z) - Uncertainty Quantification in Extreme Learning Machine: Analytical
Developments, Variance Estimates and Confidence Intervals [0.0]
不確かさの定量化は、機械学習モデルの予測品質を評価するために不可欠である。
文献で提案されるほとんどの手法は、データに対して強い仮定を行い、入力重みのランダム性を無視したり、信頼区間推定におけるバイアス寄与を無視したりする。
本稿では,これらの制約を克服し,EMMの多様性の理解を向上させる新しい推定法を提案する。
論文 参考訳（メタデータ） (2020-11-03T13:45:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。