論文の概要: Knowledge from Uncertainty in Evidential Deep Learning

• arxiv url: http://arxiv.org/abs/2310.12663v1
• Date: Thu, 19 Oct 2023 11:41:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 15:35:01.415789
• Title: Knowledge from Uncertainty in Evidential Deep Learning
• Title（参考訳）: 情報深層学習における不確実性からの知識
• Authors: Cai Davies, Marc Roig Vilamala, Alun D. Preece, Federico Cerutti, Lance M. Kaplan, Supriyo Chakraborty
• Abstract要約: 本研究は,Evidential Deep Learning(EDL)における不確実性から生じる明らかな信号を明らかにする。 EDLは、現在のテストサンプルに対する信頼性を提供するために設計された、不確実性を認識したディープラーニングアプローチのクラスの一例である。
• 参考スコア（独自算出の注目度）: 10.751990848772028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work reveals an evidential signal that emerges from the uncertainty value in Evidential Deep Learning (EDL). EDL is one example of a class of uncertainty-aware deep learning approaches designed to provide confidence (or epistemic uncertainty) about the current test sample. In particular for computer vision and bidirectional encoder large language models, the `evidential signal' arising from the Dirichlet strength in EDL can, in some cases, discriminate between classes, which is particularly strong when using large language models. We hypothesise that the KL regularisation term causes EDL to couple aleatoric and epistemic uncertainty. In this paper, we empirically investigate the correlations between misclassification and evaluated uncertainty, and show that EDL's `evidential signal' is due to misclassification bias. We critically evaluate EDL with other Dirichlet-based approaches, namely Generative Evidential Neural Networks (EDL-GEN) and Prior Networks, and show theoretically and empirically the differences between these loss functions. We conclude that EDL's coupling of uncertainty arises from these differences due to the use (or lack) of out-of-distribution samples during training.
• Abstract（参考訳）: 本研究は,Evidential Deep Learning (EDL) における不確実性から生じる明らかな信号を明らかにする。 EDLは、現在のテストサンプルに対する信頼(または疫学的な不確実性)を提供するために設計された、不確実性を認識したディープラーニングアプローチのクラスの一例である。 特にコンピュータビジョンや双方向エンコーダの大規模言語モデルにおいて、EDLのディリクレ強度から生じる「証拠信号」は、大きな言語モデルを使用する場合に特に強いクラスを識別することができる。 我々は,KL正則化という用語がEDLを2つの動脈硬化性およびてんかん性不確実性を引き起こすと仮定する。 本稿では,誤分類と不確実性評価の相関を実証的に検討し,EDLの「証拠信号」が誤分類バイアスに起因することを示す。 我々は,EDL-GEN(Generative Evidential Neural Networks)とPresideed Networksという,他のディリクレに基づくアプローチを用いてEDLを評価し,これらの損失関数の違いを理論的かつ経験的に示す。 edlの不確かさのカップリングは、トレーニング中の分散サンプルの使用(または欠如)による違いから生じると結論づける。

関連論文リスト

• Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
  Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:27:07Z)
• Uncertainty Estimation by Density Aware Evidential Deep Learning [7.328039160501826]
  Evidential Deep Learning (EDL) は不確実性評価において顕著な成功を収めた。 本稿では,DAEDL(Dedentity Aware Evidential Deep Learning)と呼ばれる新しい手法を提案する。 DAEDLは、テスト例の特徴空間密度と予測段階におけるEDLの出力を統合する。 これは、不確実性推定と分類に関連する様々な下流タスクにまたがる最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-09-13T12:04:45Z)
• Towards Robust Uncertainty-Aware Incomplete Multi-View Classification [11.617211995206018]
  不完全なMVCシナリオにおけるEDLに基づく手法を強化するために、Alternating Progressive Learning Network (APLN)を提案する。 APLNは、まず粗い計算を適用し、次にデータを潜在空間にマッピングすることで、破損した観測データからのバイアスを緩和する。 また、矛盾する証拠をよりよく扱うために、コンフリクト対応のDempster-Shaferコンビネーションルール(DSCR)を導入します。
  論文  参考訳（メタデータ） (2024-09-10T07:18:57Z)
• A Comprehensive Survey on Evidential Deep Learning and Its Applications [64.83473301188138]
  Evidential Deep Learning (EDL)は、単一のフォワードパスで最小限の追加計算で信頼性の高い不確実性推定を提供する。 まず、主観的論理理論であるEDLの理論的基礎を掘り下げ、他の不確実性推定フレームワークとの区別について議論する。 さまざまな機械学習パラダイムや下流タスクにまたがる広範な応用について詳しく述べる。
  論文  参考訳（メタデータ） (2024-09-07T05:55:06Z)
• The Epistemic Uncertainty Hole: an issue of Bayesian Neural Networks [0.6906005491572401]
  モデルのサイズとトレーニングセットのサイズに関する「最新の不確実性指標」の進化は、理論的な期待に反することを示します。 と呼ぶこの現象は、BDLの適用可能性全体を損なうというよりは、より問題となる。
  論文  参考訳（メタデータ） (2024-07-02T06:54:46Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Are Uncertainty Quantification Capabilities of Evidential Deep Learning a Mirage? [35.15844215216846]
  EDL法は,特定の目的関数を最小化することにより,予測分布上のメタ分布を学習する。 近年の研究では、学習した不確実性は信頼できないと結論づける既存の方法の限界が特定されている。 本研究では,多種多様な目的関数を統一することにより,多種多様なEDL手法の挙動をより深く理解する。 我々は,EDL法が下流タスクに実証的に有効であるとしても,不確実な定量化能力に乏しいにもかかわらず,これは発生すると結論付けた。
  論文  参考訳（メタデータ） (2024-02-09T03:23:39Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
  オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。 本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。 Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-21T09:07:15Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。