論文の概要: Fixed-Mean Gaussian Processes for Post-hoc Bayesian Deep Learning

• arxiv url: http://arxiv.org/abs/2412.04177v1
• Date: Thu, 05 Dec 2024 14:17:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:29.444162
• Title: Fixed-Mean Gaussian Processes for Post-hoc Bayesian Deep Learning
• Title（参考訳）: ポストホックベイズ深層学習のための固定平均ガウス過程
• Authors: Luis A. Ortega, Simón Rodríguez-Santana, Daniel Hernández-Lobato,
• Abstract要約: 普遍カーネルを用いた場合、後続平均を任意の連続関数に固定する、スパース変分ガウス過程(GP)の新たなファミリを導入する。 具体的には、このGPの平均値を事前学習したDNNの出力に固定し、GPの予測分散を効果的に適合させて予測の不確かさを推定する。 実験の結果,FMGPは最先端手法と比較して不確実性評価と計算効率を両立させることがわかった。
• 参考スコア（独自算出の注目度）: 11.22428369342346
• License:
• Abstract: Recently, there has been an increasing interest in performing post-hoc uncertainty estimation about the predictions of pre-trained deep neural networks (DNNs). Given a pre-trained DNN via back-propagation, these methods enhance the original network by adding output confidence measures, such as error bars, without compromising its initial accuracy. In this context, we introduce a novel family of sparse variational Gaussian processes (GPs), where the posterior mean is fixed to any continuous function when using a universal kernel. Specifically, we fix the mean of this GP to the output of the pre-trained DNN, allowing our approach to effectively fit the GP's predictive variances to estimate the DNN prediction uncertainty. Our approach leverages variational inference (VI) for efficient stochastic optimization, with training costs that remain independent of the number of training points, scaling efficiently to large datasets such as ImageNet. The proposed method, called fixed mean GP (FMGP), is architecture-agnostic, relying solely on the pre-trained model's outputs to adjust the predictive variances. Experimental results demonstrate that FMGP improves both uncertainty estimation and computational efficiency when compared to state-of-the-art methods.
• Abstract（参考訳）: 近年,事前学習したディープニューラルネットワーク(DNN)の予測について,ホット後の不確実性評価を行うことへの関心が高まっている。 バックプロパゲーションによって事前訓練されたDNNが与えられると、これらの手法は初期精度を損なうことなく、エラーバーなどの出力信頼度を付加することで元のネットワークを強化する。 この文脈では、普遍カーネルを使用する場合、後続平均が任意の連続関数に固定されるような、疎変動ガウス過程(GP)の新たなファミリーを導入する。 具体的には、このGPの平均値を事前学習したDNNの出力に固定し、GPの予測分散を効果的に適合させ、DNN予測の不確実性を推定する。 提案手法では,画像ネットなどの大規模データセットに効率よくスケールアップし,トレーニング点数に依存しないトレーニングコストを伴って,変動推論(VI)を効率的な確率的最適化に活用する。 提案手法は固定平均GP (FMGP) と呼ばれ、予測分散を調整するために事前学習されたモデルの出力のみに依存するアーキテクチャに依存しない。 実験の結果,FMGPは最先端手法と比較して不確実性評価と計算効率を両立させることがわかった。

関連論文リスト

• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Leveraging Locality and Robustness to Achieve Massively Scalable Gaussian Process Regression [1.3518297878940662]
  GPN(Nest-Nighbour)予測の強靭性特性と制限挙動を探索することによって,新しい視点を導入する。 データサイズnが大きくなるにつれて、推定パラメータとGPモデル仮定の精度は、GPnn予測精度とますます無関係になる。 この不正確さの源泉を補正することができ、高い計算コストで精度の高い不確実性対策と正確な予測を両立できることを示す。
  論文  参考訳（メタデータ） (2023-06-26T14:32:46Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Deep Neural Networks as Point Estimates for Deep Gaussian Processes [44.585609003513625]
  本稿では,DGPの近似的な後進平均がディープニューラルネットワーク(DNN)と同じ数学的構造を持つスパース変分近似を提案する。 我々は、GP後方平均をReLU基底関数の和として表すドメイン間変換を求めることで、ReLU DNNと同等のDGPを前方通過させる。 実験は、現在のDGP法と比較して精度の向上とトレーニングの高速化を実証し、良好な予測不確実性を維持します。
  論文  参考訳（メタデータ） (2021-05-10T16:55:17Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。