論文の概要: Are Uncertainty Quantification Capabilities of Evidential Deep Learning a Mirage?

• arxiv url: http://arxiv.org/abs/2402.06160v2
• Date: Wed, 12 Jun 2024 18:37:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 23:45:25.506103
• Title: Are Uncertainty Quantification Capabilities of Evidential Deep Learning a Mirage?
• Title（参考訳）: 情報深層学習における不確実性定量化能力はミラージュか?
• Authors: Maohao Shen, J. Jon Ryu, Soumya Ghosh, Yuheng Bu, Prasanna Sattigeri, Subhro Das, Gregory W. Wornell,
• Abstract要約: EDL法は,特定の目的関数を最小化することにより,予測分布上のメタ分布を学習する。 近年の研究では、学習した不確実性は信頼できないと結論づける既存の方法の限界が特定されている。 本研究では,多種多様な目的関数を統一することにより,多種多様なEDL手法の挙動をより深く理解する。 我々は,EDL法が下流タスクに実証的に有効であるとしても,不確実な定量化能力に乏しいにもかかわらず,これは発生すると結論付けた。
• 参考スコア（独自算出の注目度）: 35.15844215216846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper questions the effectiveness of a modern predictive uncertainty quantification approach, called \emph{evidential deep learning} (EDL), in which a single neural network model is trained to learn a meta distribution over the predictive distribution by minimizing a specific objective function. Despite their perceived strong empirical performance on downstream tasks, a line of recent studies by Bengs et al. identify limitations of the existing methods to conclude their learned epistemic uncertainties are unreliable, e.g., in that they are non-vanishing even with infinite data. Building on and sharpening such analysis, we 1) provide a sharper understanding of the asymptotic behavior of a wide class of EDL methods by unifying various objective functions; 2) reveal that the EDL methods can be better interpreted as an out-of-distribution detection algorithm based on energy-based-models; and 3) conduct extensive ablation studies to better assess their empirical effectiveness with real-world datasets. Through all these analyses, we conclude that even when EDL methods are empirically effective on downstream tasks, this occurs despite their poor uncertainty quantification capabilities. Our investigation suggests that incorporating model uncertainty can help EDL methods faithfully quantify uncertainties and further improve performance on representative downstream tasks, albeit at the cost of additional computational complexity.
• Abstract（参考訳）: 本稿では,単一ニューラルネットワークモデルを用いて,特定の目的関数を最小化することにより,予測分布上のメタ分布を学習する,最新の予測不確実性定量化手法であるemph{evidential Deep Learning} (EDL)の有効性を疑問視する。 下流のタスクにおいて強い経験的性能が認められたにもかかわらず、ベングスらによる最近の一連の研究は、学習された疫学の不確実性を結論付ける既存の方法の限界を、無限のデータでさえも消滅しないという、信頼できないものとして特定している。 このような分析を構築、強化する、私たちは 1)多種多様な目的機能を統合することにより,多種多様なEDL手法の漸近行動の理解を深める。 2) エネルギーモデルに基づく分布外検出アルゴリズムとして,EDL法をよりよく解釈できることが明らかとなった。 3) 実世界のデータセットによる実験効果をよりよく評価するために, 広範囲にわたるアブレーション研究を実施している。 これらの分析を通じて、EDL法が下流タスクに実証的に有効であるとしても、不確実な定量化能力が劣っているにもかかわらず、これは発生すると結論づける。 本研究は,モデル不確実性を取り入れることで,EDL手法が不確実性を忠実に定量化し,さらに計算複雑性の増大を犠牲にしながら,下流タスクにおける性能を向上させることができることを示唆している。

関連論文リスト

• Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
  グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。 課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
  論文  参考訳（メタデータ） (2024-05-30T10:49:22Z)
• Uncertainty for Active Learning on Graphs [70.44714133412592]
  不確実性サンプリングは、機械学習モデルのデータ効率を改善することを目的とした、アクティブな学習戦略である。 予測の不確実性を超えた不確実性サンプリングをベンチマークし、他のアクティブラーニング戦略に対する大きなパフォーマンスギャップを強調します。 提案手法は,データ生成プロセスの観点から基幹的ベイズ不確実性推定法を開発し,不確実性サンプリングを最適クエリへ導く上での有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-02T16:50:47Z)
• STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient Fine-Tuning of Large Language Models [21.929902181609936]
  我々は不確実性に基づくアクティブラーニングとLoRAを統合する新しい手法を提案する。 不確実性ギャップについて、ベースモデルの不確実性とフルモデルの不確実性を組み合わせた動的不確実性測定を導入する。 モデルのキャリブレーションが不十分な場合、LoRAトレーニング中に正規化手法を導入し、モデルが過度に信頼されないようにする。
  論文  参考訳（メタデータ） (2024-03-02T10:38:10Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Beyond Fidelity: Explaining Vulnerability Localization of Learning-based Detectors [10.316819421902363]
  近年,ディープラーニング(DL)モデルに基づく脆弱性検出装置の有効性が証明されている。 これらの検出器の意思決定プロセスを取り巻く不透明さは、セキュリティアナリストの理解を困難にしている。 グラフおよびシーケンス表現に基づく脆弱性検出のための10種類の説明手法の性能評価を行った。
  論文  参考訳（メタデータ） (2024-01-05T07:37:35Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Offline Reinforcement Learning with Additional Covering Distributions [0.0]
  我々は,関数近似を用いて,ログ化されたデータセット,すなわちオフラインRLから最適ポリシーを学習する。 一般のMDPに対するサンプル効率のよいオフラインRLは、部分的カバレッジデータセットと弱い実現可能な関数クラスだけで実現可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T03:31:03Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。