論文の概要: The Epistemic Uncertainty Hole: an issue of Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2407.01985v1
• Date: Tue, 2 Jul 2024 06:54:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 16:34:10.842196
• Title: The Epistemic Uncertainty Hole: an issue of Bayesian Neural Networks
• Title（参考訳）: てんかん性不確実性ホール--ベイズニューラルネットワークの問題点
• Authors: Mohammed Fellaji, Frédéric Pennerath,
• Abstract要約: モデルのサイズとトレーニングセットのサイズに関する「最新の不確実性指標」の進化は、理論的な期待に反することを示します。 と呼ぶこの現象は、BDLの適用可能性全体を損なうというよりは、より問題となる。
• 参考スコア（独自算出の注目度）: 0.6906005491572401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian Deep Learning (BDL) gives access not only to aleatoric uncertainty, as standard neural networks already do, but also to epistemic uncertainty, a measure of confidence a model has in its own predictions. In this article, we show through experiments that the evolution of epistemic uncertainty metrics regarding the model size and the size of the training set, goes against theoretical expectations. More precisely, we observe that the epistemic uncertainty collapses literally in the presence of large models and sometimes also of little training data, while we expect the exact opposite behaviour. This phenomenon, which we call "epistemic uncertainty hole", is all the more problematic as it undermines the entire applicative potential of BDL, which is based precisely on the use of epistemic uncertainty. As an example, we evaluate the practical consequences of this uncertainty hole on one of the main applications of BDL, namely the detection of out-of-distribution samples
• Abstract（参考訳）: Bayesian Deep Learning (BDL)は、標準的なニューラルネットワークが既に行っているように、アレータティックな不確実性だけでなく、エピステマティックな不確実性にもアクセスする。 本稿では,モデルサイズとトレーニングセットのサイズに関する疫学的な不確実性指標の進化が,理論的な期待に反することを示す。 より正確には、疫学的な不確実性は、全く逆の振る舞いを期待しながら、大きなモデルの存在時に文字通り崩壊し、トレーニングデータもほとんど得られないことを観察する。 この現象は、私たちが「疫学的不確実性穴」と呼んでいるが、それは、正確にはてんかん不確実性の使用に基づくBDLの適用可能性全体を損なうものであるため、より問題となる。 例えば、この不確実性ホールがBDLの主な応用の1つ、すなわちアウト・オブ・ディストリビューション・サンプルの検出に与える影響について評価する。

関連論文リスト

• On the Calibration of Epistemic Uncertainty: Principles, Paradoxes and Conflictual Loss [3.8248583585487155]
  証拠不確実性は、Deep Ensembles、Bayesian Deep Networks、Evidential Deep Networksによって生成される。 測定可能ではあるが、この形の不確実性は客観的に校正することは困難である。 以上の要件に則った競合損失という,深層アンサンブルの正規化関数を提案する。
  論文  参考訳（メタデータ） (2024-07-16T23:21:28Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Introducing an Improved Information-Theoretic Measure of Predictive Uncertainty [6.3398383724486544]
  予測の不確実性は、ベイズ平均(BMA)予測分布のエントロピーによってよく測定される。 これらの制限を克服するために理論的に根ざした尺度を導入する。 提案手法は, 制御された合成タスクにおいて, より合理的に振る舞う。
  論文  参考訳（メタデータ） (2023-11-14T16:55:12Z)
• Neural State-Space Models: Empirical Evaluation of Uncertainty Quantification [0.0]
  本稿では,ニューラル状態空間モデルを用いたシステム同定のための不確実性定量化に関する予備的結果を示す。 ベイズ確率的設定で学習問題をフレーム化し、ニューラルネットワークの重みと出力の後方分布を求める。 後部に基づいて,出力の信頼区間を構築し,潜在的に危険なアウト・オブ・ディストリビューション体制下でモデルの使用を効果的に診断できるサプライズ指標を定義する。
  論文  参考訳（メタデータ） (2023-04-13T08:57:33Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。