論文の概要: Epistemic Uncertainty Quantification For Pre-trained Neural Network
- arxiv url: http://arxiv.org/abs/2404.10124v1
- Date: Mon, 15 Apr 2024 20:21:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 18:51:25.415031
- Title: Epistemic Uncertainty Quantification For Pre-trained Neural Network
- Title（参考訳）: プレトレーニングニューラルネットワークの疫学的不確実性定量化
- Authors: Hanjing Wang, Qiang Ji,
- Abstract要約: 疫学的不確実性定量化(UQ)は、モデルが知識を欠いている場所を特定する。
ベイジアンニューラルネットワークに基づく従来のUQ法は、事前訓練された非ベイジアンモデルには適さない。
- 参考スコア（独自算出の注目度）: 27.444465823508715
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Epistemic uncertainty quantification (UQ) identifies where models lack knowledge. Traditional UQ methods, often based on Bayesian neural networks, are not suitable for pre-trained non-Bayesian models. Our study addresses quantifying epistemic uncertainty for any pre-trained model, which does not need the original training data or model modifications and can ensure broad applicability regardless of network architectures or training techniques. Specifically, we propose a gradient-based approach to assess epistemic uncertainty, analyzing the gradients of outputs relative to model parameters, and thereby indicating necessary model adjustments to accurately represent the inputs. We first explore theoretical guarantees of gradient-based methods for epistemic UQ, questioning the view that this uncertainty is only calculable through differences between multiple models. We further improve gradient-driven UQ by using class-specific weights for integrating gradients and emphasizing distinct contributions from neural network layers. Additionally, we enhance UQ accuracy by combining gradient and perturbation methods to refine the gradients. We evaluate our approach on out-of-distribution detection, uncertainty calibration, and active learning, demonstrating its superiority over current state-of-the-art UQ methods for pre-trained models.
- Abstract（参考訳）: 疫学的不確実性定量化(UQ)は、モデルが知識を欠いている場所を特定する。
ベイジアンニューラルネットワークに基づく従来のUQ法は、事前訓練された非ベイジアンモデルには適さない。
本研究は,既存のトレーニングデータやモデル修正を必要とせず,ネットワークアーキテクチャやトレーニング手法によらず広い適用性を確保することができる,事前学習モデルに対する疫学的不確実性の定量化に対処する。
具体的には,疫学的な不確実性を評価するための勾配に基づくアプローチを提案し,モデルパラメータに対する出力の勾配を解析し,入力を正確に表現するために必要なモデル調整を示す。
まず, この不確実性は複数のモデルの違いによってのみ計算可能であるという見解を疑問視する。
我々は、勾配を統合するためにクラス固有の重みを使い、ニューラルネットワーク層とは異なるコントリビューションを強調することにより、勾配駆動型UQをさらに改善する。
さらに、勾配と摂動法を組み合わせて勾配を洗練させることにより、UQの精度を向上させる。
提案手法は,非分布検出,不確実キャリブレーション,アクティブラーニングであり,事前学習モデルに対する現在の最先端UQ手法よりも優れていることを示す。
関連論文リスト
- Learning Sample Difficulty from Pre-trained Models for Reliable
Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。
我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文 参考訳（メタデータ） (2023-04-20T07:29:23Z) - Neural State-Space Models: Empirical Evaluation of Uncertainty
Quantification [0.0]
本稿では,ニューラル状態空間モデルを用いたシステム同定のための不確実性定量化に関する予備的結果を示す。
ベイズ確率的設定で学習問題をフレーム化し、ニューラルネットワークの重みと出力の後方分布を求める。
後部に基づいて,出力の信頼区間を構築し,潜在的に危険なアウト・オブ・ディストリビューション体制下でモデルの使用を効果的に診断できるサプライズ指標を定義する。
論文 参考訳（メタデータ） (2023-04-13T08:57:33Z) - Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。
提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。
提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
論文 参考訳（メタデータ） (2022-12-14T17:34:11Z) - Transfer Learning with Uncertainty Quantification: Random Effect
Calibration of Source to Target (RECaST) [1.8047694351309207]
我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。
線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。
シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
論文 参考訳（メタデータ） (2022-11-29T19:39:47Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Distributional Gradient Matching for Learning Uncertain Neural Dynamics
Models [38.17499046781131]
本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。
我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。
数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
論文 参考訳（メタデータ） (2021-06-22T08:40:51Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Gradients as a Measure of Uncertainty in Neural Networks [16.80077149399317]
本稿では,学習モデルの不確かさの定量化にバックプロパゲート勾配を用いることを提案する。
本研究では,AUROC スコアの4.8% を非分布検出において,勾配法が最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-08-18T16:58:46Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。