論文の概要: Hessian-Free Laplace in Bayesian Deep Learning

• arxiv url: http://arxiv.org/abs/2403.10671v1
• Date: Fri, 15 Mar 2024 20:47:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-19 22:24:30.294914
• Title: Hessian-Free Laplace in Bayesian Deep Learning
• Title（参考訳）: ベイジアンディープラーニングにおけるヘッセンフリーラプラス
• Authors: James McInerney, Nathan Kallus,
• Abstract要約: Hessian-free Laplace (HFL)近似は、その分散を推定するために、ログ後部とネットワーク予測の両方の曲率を使用する。 ベイズ深層学習におけるLAの標準的な仮定の下では、HFLはLAと同じ分散を目標とし、事前学習されたネットワークで効率よく再生可能であることを示す。
• 参考スコア（独自算出の注目度）: 44.16006844888796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Laplace approximation (LA) of the Bayesian posterior is a Gaussian distribution centered at the maximum a posteriori estimate. Its appeal in Bayesian deep learning stems from the ability to quantify uncertainty post-hoc (i.e., after standard network parameter optimization), the ease of sampling from the approximate posterior, and the analytic form of model evidence. However, an important computational bottleneck of LA is the necessary step of calculating and inverting the Hessian matrix of the log posterior. The Hessian may be approximated in a variety of ways, with quality varying with a number of factors including the network, dataset, and inference task. In this paper, we propose an alternative framework that sidesteps Hessian calculation and inversion. The Hessian-free Laplace (HFL) approximation uses curvature of both the log posterior and network prediction to estimate its variance. Only two point estimates are needed: the standard maximum a posteriori parameter and the optimal parameter under a loss regularized by the network prediction. We show that, under standard assumptions of LA in Bayesian deep learning, HFL targets the same variance as LA, and can be efficiently amortized in a pre-trained network. Experiments demonstrate comparable performance to that of exact and approximate Hessians, with excellent coverage for in-between uncertainty.
• Abstract（参考訳）: ベイジアン後方のラプラス近似(Laplace approximation, LA)は、最大アフター推定を中心にしたガウス分布である。 ベイズ深層学習におけるその魅力は、不確実性ポストホック(例えば、標準的なネットワークパラメータ最適化後の)の定量化能力、近似後部からのサンプリングの容易さ、モデルエビデンスの分析形式に起因している。 しかし、LAの重要な計算ボトルネックは、ログ後部のヘッセン行列を計算・反転するために必要なステップである。 Hessianはさまざまな方法で近似でき、ネットワーク、データセット、推論タスクなど、さまざまな要因によって品質が変化する。 本稿では,ヘシアン計算と逆変換を補助する代替フレームワークを提案する。 Hessian-free Laplace (HFL)近似は、その分散を推定するために、ログ後部とネットワーク予測の両方の曲率を使用する。 ネットワーク予測によって正規化された損失の下では、標準最大余剰パラメータと最適パラメータの2つの点推定しか必要とされない。 ベイズ深層学習におけるLAの標準的な仮定の下では、HFLはLAと同じ分散を目標とし、事前学習されたネットワークで効率よく再生可能であることを示す。 実験では、正確で近似的なヘッセンのものと同等の性能を示し、不確実性に優れたカバレッジを持つ。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Confidence Intervals and Simultaneous Confidence Bands Based on Deep Learning [0.36832029288386137]
  本手法は, 適用された最適化アルゴリズムに固有の雑音からデータの不確実性を正しく解き放つことのできる, 有効な非パラメトリックブートストラップ法である。 提案したアドホック法は、トレーニングプロセスに干渉することなく、ディープニューラルネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2024-06-20T05:51:37Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Gradient-Based Quantification of Epistemic Uncertainty for Deep Object Detectors [8.029049649310213]
  本稿では,新しい勾配に基づく不確実性指標を導入し,異なる物体検出アーキテクチャについて検討する。 実験では、真の肯定的/偽の正の判別と、結合上の交叉の予測において顕著な改善が示された。 また,モンテカルロのドロップアウト不確実性指標に対する改善や,さまざまな不確実性指標のソースを集約することで,さらなる大幅な向上が期待できる。
  論文  参考訳（メタデータ） (2021-07-09T16:04:11Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Variational Laplace for Bayesian neural networks [25.055754094939527]
  Variational Laplaceは、ニューラルネットワークの重みをサンプリングすることなく、ELBOを推定する可能性の局所近似を利用する。 分散パラメータの学習率を増加させることで早期停止を回避できることを示す。
  論文  参考訳（メタデータ） (2021-02-27T14:06:29Z)
• The Bayesian Method of Tensor Networks [1.7894377200944511]
  ネットワークのベイズ的枠組みを2つの観点から検討する。 本研究では,2次元合成データセットにおけるモデルパラメータと決定境界を可視化することにより,ネットワークのベイズ特性について検討する。
  論文  参考訳（メタデータ） (2021-01-01T14:59:15Z)
• Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
  既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。 これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。 我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-10T23:28:36Z)
• Uncertainty Estimation and Calibration with Finite-State Probabilistic RNNs [29.84563789289183]
  不確かさの定量化は、信頼性と信頼性のある機械学習システムを構築するために不可欠である。 本稿では、リカレントニューラルネットワーク(RNN)における離散状態遷移による不確実性の推定を提案する。 モデルの不確実性は、繰り返し状態遷移分布からサンプリングするたびに、予測を数回実行することで定量化することができる。
  論文  参考訳（メタデータ） (2020-11-24T10:35:28Z)
• Variational Laplace for Bayesian neural networks [33.46810568687292]
  我々はベイズニューラルネットワーク(BNN)のための変分ラプラスを開発する。 我々は,ニューラルネットワークの重みをサンプリングすることなく,ELBOの曲率を局所的に近似し,ELBOを推定する。 分散パラメータの学習率を増大させることにより,早期停止を回避できることを示す。
  論文  参考訳（メタデータ） (2020-11-20T15:16:18Z)
• Bayesian Deep Learning via Subnetwork Inference [2.2835610890984164]
  モデル重みの小さな部分集合に対して推論を行い、正確な予測後部を得るのに十分であることを示す。 このサブネットワーク推論フレームワークは、そのような部分集合に対して表現的で、そうでなければ、引き起こせない後続近似を使用できる。
  論文  参考訳（メタデータ） (2020-10-28T01:10:11Z)
• Uncertainty Quantification in Deep Residual Neural Networks [0.0]
  不確かさの定量化は、ディープラーニングにおいて重要で困難な問題である。 以前の方法は、現代のディープアーキテクチャやバッチサイズに敏感なバッチ正規化には存在しないドロップアウト層に依存していた。 本研究では,ニューラルネットワークの後方重みに対する変動近似として,深度を用いた残留ネットワークのトレーニングが可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-09T16:05:37Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。