論文の概要: Improved Evidential Deep Learning via a Mixture of Dirichlet
Distributions
- arxiv url: http://arxiv.org/abs/2402.06160v1
- Date: Fri, 9 Feb 2024 03:23:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 18:06:40.056674
- Title: Improved Evidential Deep Learning via a Mixture of Dirichlet
Distributions
- Title(参考訳): ディリクレ分布の混合による情報深層学習の改善
- Authors: J. Jon Ryu, Maohao Shen, Soumya Ghosh, Yuheng Bu, Prasanna Sattigeri,
Subhro Das, Gregory W. Wornell
- Abstract要約: 本稿では,1つのニューラルネットワークモデルを用いて,予測分布上のメタ分布を学習する,明らかな深層学習(EDL)と呼ばれる最新の予測不確実性推定手法について検討する。
Bengsらによる最近の研究では、既存の方法の根本的な落とし穴が特定されている。
ディリクレ分布と変分推論による学習を混合してモデル化し,一貫した目標分布の学習を提案する。
- 参考スコア(独自算出の注目度): 36.92148757066292
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper explores a modern predictive uncertainty estimation approach,
called evidential deep learning (EDL), in which a single neural network model
is trained to learn a meta distribution over the predictive distribution by
minimizing a specific objective function. Despite their strong empirical
performance, recent studies by Bengs et al. identify a fundamental pitfall of
the existing methods: the learned epistemic uncertainty may not vanish even in
the infinite-sample limit. We corroborate the observation by providing a
unifying view of a class of widely used objectives from the literature. Our
analysis reveals that the EDL methods essentially train a meta distribution by
minimizing a certain divergence measure between the distribution and a
sample-size-independent target distribution, resulting in spurious epistemic
uncertainty. Grounded in theoretical principles, we propose learning a
consistent target distribution by modeling it with a mixture of Dirichlet
distributions and learning via variational inference. Afterward, a final meta
distribution model distills the learned uncertainty from the target model.
Experimental results across various uncertainty-based downstream tasks
demonstrate the superiority of our proposed method, and illustrate the
practical implications arising from the consistency and inconsistency of
learned epistemic uncertainty.
- Abstract(参考訳): 本稿では,特定の目的関数を最小化し,予測分布上のメタ分布を学習するために,単一のニューラルネットワークモデルを訓練した,現代の予測的不確実性推定手法であるエビデンシャル・ディープ・ラーニング(edl)について検討する。
ベングスらによる最近の研究では、既存の方法の基本的な落とし穴が特定されている: 学習された認識論的不確実性は無限のサンプル限界でも消えないかもしれない。
文献から広く使われている目的のクラスを統一的に見ることによって、観察を裏付ける。
解析の結果, EDL法は, 分布と試料径非依存性のターゲット分布との偏差を最小化することにより, 基本的にはメタ分布のトレーニングを行う。
理論的原理を基礎として,ディリクレ分布の混合と変分推論による学習をモデル化し,一貫した目標分布の学習を提案する。
その後、最終メタ分布モデルは、対象モデルから学習された不確実性を蒸留する。
様々な不確実性に基づく下流課題における実験結果は,提案手法の優越性を示し,学習した認識の不確かさの一貫性と不一致から生じる実践的影響を明らかにする。
関連論文リスト
- Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。
課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
論文 参考訳(メタデータ) (2024-05-30T10:49:22Z) - Uncertainty for Active Learning on Graphs [70.44714133412592]
不確実性サンプリングは、機械学習モデルのデータ効率を改善することを目的とした、アクティブな学習戦略である。
予測の不確実性を超えた不確実性サンプリングをベンチマークし、他のアクティブラーニング戦略に対する大きなパフォーマンスギャップを強調します。
提案手法は,データ生成プロセスの観点から基幹的ベイズ不確実性推定法を開発し,不確実性サンプリングを最適クエリへ導く上での有効性を実証する。
論文 参考訳(メタデータ) (2024-05-02T16:50:47Z) - STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient Fine-Tuning of Large Language Models [21.929902181609936]
我々は不確実性に基づくアクティブラーニングとLoRAを統合する新しい手法を提案する。
不確実性ギャップについて、ベースモデルの不確実性とフルモデルの不確実性を組み合わせた動的不確実性測定を導入する。
モデルのキャリブレーションが不十分な場合、LoRAトレーニング中に正規化手法を導入し、モデルが過度に信頼されないようにする。
論文 参考訳(メタデータ) (2024-03-02T10:38:10Z) - Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳(メタデータ) (2024-02-15T18:46:24Z) - Beyond Fidelity: Explaining Vulnerability Localization of Learning-based
Detectors [10.316819421902363]
近年,ディープラーニング(DL)モデルに基づく脆弱性検出装置の有効性が証明されている。
これらの検出器の意思決定プロセスを取り巻く不透明さは、セキュリティアナリストの理解を困難にしている。
グラフおよびシーケンス表現に基づく脆弱性検出のための10種類の説明手法の性能評価を行った。
論文 参考訳(メタデータ) (2024-01-05T07:37:35Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z) - Offline Reinforcement Learning with Additional Covering Distributions [0.0]
我々は,関数近似を用いて,ログ化されたデータセット,すなわちオフラインRLから最適ポリシーを学習する。
一般のMDPに対するサンプル効率のよいオフラインRLは、部分的カバレッジデータセットと弱い実現可能な関数クラスだけで実現可能であることを示す。
論文 参考訳(メタデータ) (2023-05-22T03:31:03Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。