論文の概要: Post-hoc Uncertainty Learning using a Dirichlet Meta-Model
- arxiv url: http://arxiv.org/abs/2212.07359v1
- Date: Wed, 14 Dec 2022 17:34:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 15:25:22.335728
- Title: Post-hoc Uncertainty Learning using a Dirichlet Meta-Model
- Title（参考訳）: ディリクレメタモデルを用いたポストホック不確実性学習
- Authors: Maohao Shen, Yuheng Bu, Prasanna Sattigeri, Soumya Ghosh, Subhro Das,
Gregory Wornell
- Abstract要約: 本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。
提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。
提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
- 参考スコア（独自算出の注目度）: 28.522673618527417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is known that neural networks have the problem of being over-confident
when directly using the output label distribution to generate uncertainty
measures. Existing methods mainly resolve this issue by retraining the entire
model to impose the uncertainty quantification capability so that the learned
model can achieve desired performance in accuracy and uncertainty prediction
simultaneously. However, training the model from scratch is computationally
expensive and may not be feasible in many situations. In this work, we consider
a more practical post-hoc uncertainty learning setting, where a well-trained
base model is given, and we focus on the uncertainty quantification task at the
second stage of training. We propose a novel Bayesian meta-model to augment
pre-trained models with better uncertainty quantification abilities, which is
effective and computationally efficient. Our proposed method requires no
additional training data and is flexible enough to quantify different
uncertainties and easily adapt to different application settings, including
out-of-domain data detection, misclassification detection, and trustworthy
transfer learning. We demonstrate our proposed meta-model approach's
flexibility and superior empirical performance on these applications over
multiple representative image classification benchmarks.
- Abstract（参考訳）: ニューラルネットワークは、出力ラベル分布を直接使用して不確実性対策を生成する際に、過信である。
既存の手法では、モデル全体をトレーニングして不確実性定量化能力を課し、学習したモデルが精度と不確実性予測を同時に達成できるようにすることで、この問題を主に解決している。
しかし、スクラッチからモデルをトレーニングするのは計算コストが高く、多くの状況では実現できない。
本研究では,より実践的なポストホックな不確実性学習環境について考察し,訓練の第2段階における不確実性定量化課題に焦点をあてる。
本稿では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。
提案手法は、追加のトレーニングデータを必要としないため、異なる不確実性を定量化し、ドメイン外データ検出、誤分類検出、信頼できるトランスファー学習など、異なるアプリケーション設定に容易に適応できる。
本稿では,複数の画像分類ベンチマークを用いて,メタモデルアプローチの柔軟性と実験性能を実証する。
関連論文リスト
- Error-Driven Uncertainty Aware Training [7.702016079410588]
Error-Driven Uncertainty Aware Trainingは、ニューラル分類器が不確実性を正確に推定する能力を高めることを目的としている。
EUATアプローチは、モデルのトレーニングフェーズ中に、トレーニング例が正しく予測されているか、あるいは正しく予測されているかによって、2つの損失関数を選択的に使用することによって機能する。
画像認識領域における多様なニューラルモデルとデータセットを用いてEUATを評価する。
論文 参考訳（メタデータ） (2024-05-02T11:48:14Z) - Towards Certified Probabilistic Robustness with High Accuracy [3.957941698534126]
Adrialの例は、ニューラルネットワーク上に構築された多くのクリティカルシステムに対して、セキュリティ上の脅威となる。
確実に堅牢で正確なニューラルネットワークモデルを構築する方法はまだオープンな問題だ。
本稿では,高い精度と高い確率ロバスト性を実現することを目的とした新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-02T09:39:47Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳（メタデータ） (2023-01-16T14:25:02Z) - Calibrating Ensembles for Scalable Uncertainty Quantification in Deep
Learning-based Medical Segmentation [0.42008820076301906]
自動画像解析における不確かさの定量化は、多くのアプリケーションで非常に望まれている。
現在の不確実性定量化アプローチは、高次元実世界の問題ではうまくスケールしない。
本研究では,ディープラーニングモデルのアンサンブルを校正し,不確実な定量化測定を行うための,スケーラブルで直感的なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T09:09:48Z) - BayesCap: Bayesian Identity Cap for Calibrated Uncertainty in Frozen
Neural Networks [50.15201777970128]
本研究では,凍結モデルに対するベイズIDマッピングを学習し,不確実性の推定を可能にするBayesCapを提案する。
BayesCapは、元のデータセットのごく一部でトレーニングできる、メモリ効率のよいメソッドである。
本稿では,多種多様なアーキテクチャを用いた多種多様なタスクに対する本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-07-14T12:50:09Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - Uncertainty Estimation and Calibration with Finite-State Probabilistic
RNNs [29.84563789289183]
不確かさの定量化は、信頼性と信頼性のある機械学習システムを構築するために不可欠である。
本稿では、リカレントニューラルネットワーク(RNN)における離散状態遷移による不確実性の推定を提案する。
モデルの不確実性は、繰り返し状態遷移分布からサンプリングするたびに、予測を数回実行することで定量化することができる。
論文 参考訳（メタデータ） (2020-11-24T10:35:28Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。