論文の概要: Improved Evidential Deep Learning via a Mixture of Dirichlet
Distributions
- arxiv url: http://arxiv.org/abs/2402.06160v1
- Date: Fri, 9 Feb 2024 03:23:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 18:06:40.056674
- Title: Improved Evidential Deep Learning via a Mixture of Dirichlet
Distributions
- Title(参考訳): ディリクレ分布の混合による情報深層学習の改善
- Authors: J. Jon Ryu, Maohao Shen, Soumya Ghosh, Yuheng Bu, Prasanna Sattigeri,
Subhro Das, Gregory W. Wornell
- Abstract要約: 本稿では,1つのニューラルネットワークモデルを用いて,予測分布上のメタ分布を学習する,明らかな深層学習(EDL)と呼ばれる最新の予測不確実性推定手法について検討する。
Bengsらによる最近の研究では、既存の方法の根本的な落とし穴が特定されている。
ディリクレ分布と変分推論による学習を混合してモデル化し,一貫した目標分布の学習を提案する。
- 参考スコア(独自算出の注目度): 36.92148757066292
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper explores a modern predictive uncertainty estimation approach,
called evidential deep learning (EDL), in which a single neural network model
is trained to learn a meta distribution over the predictive distribution by
minimizing a specific objective function. Despite their strong empirical
performance, recent studies by Bengs et al. identify a fundamental pitfall of
the existing methods: the learned epistemic uncertainty may not vanish even in
the infinite-sample limit. We corroborate the observation by providing a
unifying view of a class of widely used objectives from the literature. Our
analysis reveals that the EDL methods essentially train a meta distribution by
minimizing a certain divergence measure between the distribution and a
sample-size-independent target distribution, resulting in spurious epistemic
uncertainty. Grounded in theoretical principles, we propose learning a
consistent target distribution by modeling it with a mixture of Dirichlet
distributions and learning via variational inference. Afterward, a final meta
distribution model distills the learned uncertainty from the target model.
Experimental results across various uncertainty-based downstream tasks
demonstrate the superiority of our proposed method, and illustrate the
practical implications arising from the consistency and inconsistency of
learned epistemic uncertainty.
- Abstract(参考訳): 本稿では,特定の目的関数を最小化し,予測分布上のメタ分布を学習するために,単一のニューラルネットワークモデルを訓練した,現代の予測的不確実性推定手法であるエビデンシャル・ディープ・ラーニング(edl)について検討する。
ベングスらによる最近の研究では、既存の方法の基本的な落とし穴が特定されている: 学習された認識論的不確実性は無限のサンプル限界でも消えないかもしれない。
文献から広く使われている目的のクラスを統一的に見ることによって、観察を裏付ける。
解析の結果, EDL法は, 分布と試料径非依存性のターゲット分布との偏差を最小化することにより, 基本的にはメタ分布のトレーニングを行う。
理論的原理を基礎として,ディリクレ分布の混合と変分推論による学習をモデル化し,一貫した目標分布の学習を提案する。
その後、最終メタ分布モデルは、対象モデルから学習された不確実性を蒸留する。
様々な不確実性に基づく下流課題における実験結果は,提案手法の優越性を示し,学習した認識の不確かさの一貫性と不一致から生じる実践的影響を明らかにする。
関連論文リスト
- Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - Personalized Trajectory Prediction via Distribution Discrimination [78.69458579657189]
トラリミー予測は将来の力学のマルチモーダルな性質を捉えるジレンマと対立する。
本研究では,パーソナライズされた動作パターンを予測するDisDisDis(Disdis)手法を提案する。
本手法は,プラグイン・アンド・プレイモジュールとして既存のマルチモーダル予測モデルと統合することができる。
論文 参考訳(メタデータ) (2021-07-29T17:42:12Z) - A Brief Introduction to Generative Models [8.031257560764336]
我々は、機械学習の中心課題として生成モデリングを導入し、動機づける。
KL-発散の最小化としてどのように解釈できるかを概説する。
本稿では,推定分布と実データ分布の差異を考察する代替逆アプローチを検討する。
論文 参考訳(メタデータ) (2021-02-27T16:49:41Z) - DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。
一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2021-02-16T23:50:35Z) - Achieving Efficiency in Black Box Simulation of Distribution Tails with
Self-structuring Importance Samplers [1.6114012813668934]
本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
論文 参考訳(メタデータ) (2021-02-14T03:37:22Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳(メタデータ) (2020-12-05T17:30:35Z) - A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。
予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
論文 参考訳(メタデータ) (2020-07-08T11:35:47Z) - Learning to Predict Error for MRI Reconstruction [67.76632988696943]
提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。
本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-02-13T15:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。