論文の概要: Function Space Diversity for Uncertainty Prediction via Repulsive Last-Layer Ensembles
- arxiv url: http://arxiv.org/abs/2412.15758v1
- Date: Fri, 20 Dec 2024 10:24:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-23 16:23:15.286910
- Title: Function Space Diversity for Uncertainty Prediction via Repulsive Last-Layer Ensembles
- Title（参考訳）: Repulsive Last-Layer アンサンブルによる不確かさ予測のための関数空間の多様性
- Authors: Sophie Steger, Christian Knoll, Bernhard Klein, Holger Fröning, Franz Pernkopf,
- Abstract要約: 粒子最適化による関数空間の推測と不確実性推定を改善するための実用的な修正について論じる。
本研究では,粒子予測を多種多様に強制する入力サンプルがモデル性能に有害であることを示す。
トレーニングデータ自体の多様性は不適合につながる可能性があるが、ラベル削除データの拡張や、ラベル付けされていないアウト・オブ・ディストリビューションデータを使用することは、予測の多様性と不確実性の推定を改善することができる。
- 参考スコア（独自算出の注目度）: 11.551956337460982
- License:
- Abstract: Bayesian inference in function space has gained attention due to its robustness against overparameterization in neural networks. However, approximating the infinite-dimensional function space introduces several challenges. In this work, we discuss function space inference via particle optimization and present practical modifications that improve uncertainty estimation and, most importantly, make it applicable for large and pretrained networks. First, we demonstrate that the input samples, where particle predictions are enforced to be diverse, are detrimental to the model performance. While diversity on training data itself can lead to underfitting, the use of label-destroying data augmentation, or unlabeled out-of-distribution data can improve prediction diversity and uncertainty estimates. Furthermore, we take advantage of the function space formulation, which imposes no restrictions on network parameterization other than sufficient flexibility. Instead of using full deep ensembles to represent particles, we propose a single multi-headed network that introduces a minimal increase in parameters and computation. This allows seamless integration to pretrained networks, where this repulsive last-layer ensemble can be used for uncertainty aware fine-tuning at minimal additional cost. We achieve competitive results in disentangling aleatoric and epistemic uncertainty for active learning, detecting out-of-domain data, and providing calibrated uncertainty estimates under distribution shifts with minimal compute and memory.
- Abstract（参考訳）: 関数空間におけるベイズ推論は、ニューラルネットワークの過度パラメータ化に対する堅牢性から注目されている。
しかし、無限次元函数空間の近似はいくつかの問題を引き起こす。
本稿では,粒子最適化による関数空間の推論と,不確実性推定を改善する実用的な修正について論じる。
まず,粒子予測を多様に強制する入力サンプルがモデル性能に有害であることを示す。
トレーニングデータ自体の多様性は不適合につながる可能性があるが、ラベル削除データの拡張や、ラベル付けされていないアウト・オブ・ディストリビューションデータを使用することは、予測の多様性と不確実性の推定を改善することができる。
さらに,ネットワークパラメータ化の制約を課さない関数空間の定式化も活用する。
粒子を表現するために完全な深層アンサンブルを使う代わりに,パラメータや計算量が最小限に増加する単一マルチヘッドネットワークを提案する。
これにより、事前訓練されたネットワークへのシームレスな統合が可能になり、この反発的な最終層アンサンブルは、最小の追加コストで、不確実性を意識した微調整に使用できる。
我々は,アクティブラーニングのためのアレタリックおよびエピステマティック不確実性を解消し,ドメイン外データを検出し,最小限の計算とメモリによる分散シフト下でのキャリブレーションされた不確実性推定を行う。
関連論文リスト
- Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳（メタデータ） (2023-12-28T18:33:26Z) - Function-Space Regularization for Deep Bayesian Classification [33.63495888167032]
予測空間にディリクレを前もって適用し、近似関数空間変分推論を行う。
推論を適用することで、モデルアーキテクチャやサイズに影響を与えることなく、同じ関数空間を異なるモデルと組み合わせることができる。
論文 参考訳（メタデータ） (2023-07-12T10:17:54Z) - Toward Robust Uncertainty Estimation with Random Activation Functions [3.0586855806896045]
本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。
RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
論文 参考訳（メタデータ） (2023-02-28T13:17:56Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - Feature Space Particle Inference for Neural Network Ensembles [13.392254060510666]
粒子ベースの推論法はベイズの観点から有望なアプローチを提供する。
特定の中間層が活性化される特徴空間における粒子の最適化を提案する。
提案手法は,各メンバーに対して,アンサンブル予測の堅牢性の向上を期待する特徴を捉えることを奨励する。
論文 参考訳（メタデータ） (2022-06-02T09:16:26Z) - A Free Lunch with Influence Functions? Improving Neural Network
Estimates with Concepts from Semiparametric Statistics [41.99023989695363]
ニューラルネットワークや機械学習アルゴリズムの改善に使用される半パラメトリック理論の可能性を探る。
本稿では,単一アーキテクチャを用いてアンサンブルの柔軟性と多様性を求めるニューラルネットワーク手法であるMultiNetを提案する。
論文 参考訳（メタデータ） (2022-02-18T09:35:51Z) - Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。
一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。
我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
論文 参考訳（メタデータ） (2022-02-08T16:09:12Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。