論文の概要: Improved Evidential Deep Learning via a Mixture of Dirichlet Distributions

• arxiv url: http://arxiv.org/abs/2402.06160v1
• Date: Fri, 9 Feb 2024 03:23:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 18:06:40.056674
• Title: Improved Evidential Deep Learning via a Mixture of Dirichlet Distributions
• Title（参考訳）: ディリクレ分布の混合による情報深層学習の改善
• Authors: J. Jon Ryu, Maohao Shen, Soumya Ghosh, Yuheng Bu, Prasanna Sattigeri, Subhro Das, Gregory W. Wornell
• Abstract要約: 本稿では,1つのニューラルネットワークモデルを用いて,予測分布上のメタ分布を学習する,明らかな深層学習(EDL)と呼ばれる最新の予測不確実性推定手法について検討する。 Bengsらによる最近の研究では、既存の方法の根本的な落とし穴が特定されている。 ディリクレ分布と変分推論による学習を混合してモデル化し,一貫した目標分布の学習を提案する。
• 参考スコア（独自算出の注目度）: 36.92148757066292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores a modern predictive uncertainty estimation approach, called evidential deep learning (EDL), in which a single neural network model is trained to learn a meta distribution over the predictive distribution by minimizing a specific objective function. Despite their strong empirical performance, recent studies by Bengs et al. identify a fundamental pitfall of the existing methods: the learned epistemic uncertainty may not vanish even in the infinite-sample limit. We corroborate the observation by providing a unifying view of a class of widely used objectives from the literature. Our analysis reveals that the EDL methods essentially train a meta distribution by minimizing a certain divergence measure between the distribution and a sample-size-independent target distribution, resulting in spurious epistemic uncertainty. Grounded in theoretical principles, we propose learning a consistent target distribution by modeling it with a mixture of Dirichlet distributions and learning via variational inference. Afterward, a final meta distribution model distills the learned uncertainty from the target model. Experimental results across various uncertainty-based downstream tasks demonstrate the superiority of our proposed method, and illustrate the practical implications arising from the consistency and inconsistency of learned epistemic uncertainty.
• Abstract（参考訳）: 本稿では,特定の目的関数を最小化し,予測分布上のメタ分布を学習するために,単一のニューラルネットワークモデルを訓練した,現代の予測的不確実性推定手法であるエビデンシャル・ディープ・ラーニング(edl)について検討する。 ベングスらによる最近の研究では、既存の方法の基本的な落とし穴が特定されている: 学習された認識論的不確実性は無限のサンプル限界でも消えないかもしれない。 文献から広く使われている目的のクラスを統一的に見ることによって、観察を裏付ける。 解析の結果, EDL法は, 分布と試料径非依存性のターゲット分布との偏差を最小化することにより, 基本的にはメタ分布のトレーニングを行う。 理論的原理を基礎として,ディリクレ分布の混合と変分推論による学習をモデル化し,一貫した目標分布の学習を提案する。 その後、最終メタ分布モデルは、対象モデルから学習された不確実性を蒸留する。 様々な不確実性に基づく下流課題における実験結果は,提案手法の優越性を示し,学習した認識の不確かさの一貫性と不一致から生じる実践的影響を明らかにする。

関連論文リスト

• A Survey of Uncertainty Estimation in LLMs: Theory Meets Practice [7.687545159131024]
  我々は、不確実性と信頼の定義を明確にし、それらの区別とモデル予測への含意を明らかにする。 本稿では,アプローチから導いた不確実性推定手法を分類する。 また,分布外検出,データアノテーション,質問の明確化など,多様なアプリケーションに不確実性をもたらす技術についても検討する。
  論文  参考訳（メタデータ） (2024-10-20T07:55:44Z)
• Uncertainty Estimation by Density Aware Evidential Deep Learning [7.328039160501826]
  Evidential Deep Learning (EDL) は不確実性評価において顕著な成功を収めた。 本稿では,DAEDL(Dedentity Aware Evidential Deep Learning)と呼ばれる新しい手法を提案する。 DAEDLは、テスト例の特徴空間密度と予測段階におけるEDLの出力を統合する。 これは、不確実性推定と分類に関連する様々な下流タスクにまたがる最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-09-13T12:04:45Z)
• A Comprehensive Survey on Evidential Deep Learning and Its Applications [64.83473301188138]
  Evidential Deep Learning (EDL)は、単一のフォワードパスで最小限の追加計算で信頼性の高い不確実性推定を提供する。 まず、主観的論理理論であるEDLの理論的基礎を掘り下げ、他の不確実性推定フレームワークとの区別について議論する。 さまざまな機械学習パラダイムや下流タスクにまたがる広範な応用について詳しく述べる。
  論文  参考訳（メタデータ） (2024-09-07T05:55:06Z)
• Navigating Uncertainties in Machine Learning for Structural Dynamics: A Comprehensive Review of Probabilistic and Non-Probabilistic Approaches in Forward and Inverse Problems [0.0]
  本稿では,機械学習(ML)における不確実性のナビゲートに関する包括的レビューを行う。 確率的手法や非確率的手法に対する不確実性に気付くアプローチを列挙する。 このレビューは、ML技術を利用して構造的動的問題の不確実性に対処する際、研究者や実践者が情報的決定を行うのを支援することを目的としている。
  論文  参考訳（メタデータ） (2024-08-16T09:43:01Z)
• Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
  グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。 課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
  論文  参考訳（メタデータ） (2024-05-30T10:49:22Z)
• STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient Fine-Tuning of Large Language Models [21.929902181609936]
  我々は不確実性に基づくアクティブラーニングとLoRAを統合する新しい手法を提案する。 不確実性ギャップについて、ベースモデルの不確実性とフルモデルの不確実性を組み合わせた動的不確実性測定を導入する。 モデルのキャリブレーションが不十分な場合、LoRAトレーニング中に正規化手法を導入し、モデルが過度に信頼されないようにする。
  論文  参考訳（メタデータ） (2024-03-02T10:38:10Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。