論文の概要: Are Uncertainty Quantification Capabilities of Evidential Deep Learning a Mirage?
- arxiv url: http://arxiv.org/abs/2402.06160v2
- Date: Wed, 12 Jun 2024 18:37:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 23:45:25.506103
- Title: Are Uncertainty Quantification Capabilities of Evidential Deep Learning a Mirage?
- Title（参考訳）: 情報深層学習における不確実性定量化能力はミラージュか?
- Authors: Maohao Shen, J. Jon Ryu, Soumya Ghosh, Yuheng Bu, Prasanna Sattigeri, Subhro Das, Gregory W. Wornell,
- Abstract要約: EDL法は,特定の目的関数を最小化することにより,予測分布上のメタ分布を学習する。
近年の研究では、学習した不確実性は信頼できないと結論づける既存の方法の限界が特定されている。
本研究では,多種多様な目的関数を統一することにより,多種多様なEDL手法の挙動をより深く理解する。
我々は,EDL法が下流タスクに実証的に有効であるとしても,不確実な定量化能力に乏しいにもかかわらず,これは発生すると結論付けた。
- 参考スコア（独自算出の注目度）: 35.15844215216846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper questions the effectiveness of a modern predictive uncertainty quantification approach, called \emph{evidential deep learning} (EDL), in which a single neural network model is trained to learn a meta distribution over the predictive distribution by minimizing a specific objective function. Despite their perceived strong empirical performance on downstream tasks, a line of recent studies by Bengs et al. identify limitations of the existing methods to conclude their learned epistemic uncertainties are unreliable, e.g., in that they are non-vanishing even with infinite data. Building on and sharpening such analysis, we 1) provide a sharper understanding of the asymptotic behavior of a wide class of EDL methods by unifying various objective functions; 2) reveal that the EDL methods can be better interpreted as an out-of-distribution detection algorithm based on energy-based-models; and 3) conduct extensive ablation studies to better assess their empirical effectiveness with real-world datasets. Through all these analyses, we conclude that even when EDL methods are empirically effective on downstream tasks, this occurs despite their poor uncertainty quantification capabilities. Our investigation suggests that incorporating model uncertainty can help EDL methods faithfully quantify uncertainties and further improve performance on representative downstream tasks, albeit at the cost of additional computational complexity.
- Abstract（参考訳）: 本稿では,単一ニューラルネットワークモデルを用いて,特定の目的関数を最小化することにより,予測分布上のメタ分布を学習する,最新の予測不確実性定量化手法であるemph{evidential Deep Learning} (EDL)の有効性を疑問視する。
下流のタスクにおいて強い経験的性能が認められたにもかかわらず、ベングスらによる最近の一連の研究は、学習された疫学の不確実性を結論付ける既存の方法の限界を、無限のデータでさえも消滅しないという、信頼できないものとして特定している。
このような分析を構築、強化する、私たちは
1)多種多様な目的機能を統合することにより,多種多様なEDL手法の漸近行動の理解を深める。
2) エネルギーモデルに基づく分布外検出アルゴリズムとして,EDL法をよりよく解釈できることが明らかとなった。
3) 実世界のデータセットによる実験効果をよりよく評価するために, 広範囲にわたるアブレーション研究を実施している。
これらの分析を通じて、EDL法が下流タスクに実証的に有効であるとしても、不確実な定量化能力が劣っているにもかかわらず、これは発生すると結論づける。
本研究は,モデル不確実性を取り入れることで,EDL手法が不確実性を忠実に定量化し,さらに計算複雑性の増大を犠牲にしながら,下流タスクにおける性能を向上させることができることを示唆している。
関連論文リスト
- A Survey of Uncertainty Estimation in LLMs: Theory Meets Practice [7.687545159131024]
我々は、不確実性と信頼の定義を明確にし、それらの区別とモデル予測への含意を明らかにする。
本稿では,アプローチから導いた不確実性推定手法を分類する。
また,分布外検出,データアノテーション,質問の明確化など,多様なアプリケーションに不確実性をもたらす技術についても検討する。
論文 参考訳（メタデータ） (2024-10-20T07:55:44Z) - Uncertainty Estimation by Density Aware Evidential Deep Learning [7.328039160501826]
Evidential Deep Learning (EDL) は不確実性評価において顕著な成功を収めた。
本稿では,DAEDL(Dedentity Aware Evidential Deep Learning)と呼ばれる新しい手法を提案する。
DAEDLは、テスト例の特徴空間密度と予測段階におけるEDLの出力を統合する。
これは、不確実性推定と分類に関連する様々な下流タスクにまたがる最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-09-13T12:04:45Z) - A Comprehensive Survey on Evidential Deep Learning and Its Applications [64.83473301188138]
Evidential Deep Learning (EDL)は、単一のフォワードパスで最小限の追加計算で信頼性の高い不確実性推定を提供する。
まず、主観的論理理論であるEDLの理論的基礎を掘り下げ、他の不確実性推定フレームワークとの区別について議論する。
さまざまな機械学習パラダイムや下流タスクにまたがる広範な応用について詳しく述べる。
論文 参考訳（メタデータ） (2024-09-07T05:55:06Z) - Navigating Uncertainties in Machine Learning for Structural Dynamics: A Comprehensive Review of Probabilistic and Non-Probabilistic Approaches in Forward and Inverse Problems [0.0]
本稿では,機械学習(ML)における不確実性のナビゲートに関する包括的レビューを行う。
確率的手法や非確率的手法に対する不確実性に気付くアプローチを列挙する。
このレビューは、ML技術を利用して構造的動的問題の不確実性に対処する際、研究者や実践者が情報的決定を行うのを支援することを目的としている。
論文 参考訳（メタデータ） (2024-08-16T09:43:01Z) - Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。
課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
論文 参考訳（メタデータ） (2024-05-30T10:49:22Z) - STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient Fine-Tuning of Large Language Models [21.929902181609936]
我々は不確実性に基づくアクティブラーニングとLoRAを統合する新しい手法を提案する。
不確実性ギャップについて、ベースモデルの不確実性とフルモデルの不確実性を組み合わせた動的不確実性測定を導入する。
モデルのキャリブレーションが不十分な場合、LoRAトレーニング中に正規化手法を導入し、モデルが過度に信頼されないようにする。
論文 参考訳（メタデータ） (2024-03-02T10:38:10Z) - Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳（メタデータ） (2024-02-15T18:46:24Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳（メタデータ） (2023-03-03T16:12:59Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。