Fugu-MT 論文翻訳(概要): Variational Bayesian Last Layers

論文の概要: Variational Bayesian Last Layers

arxiv url: http://arxiv.org/abs/2404.11599v1
Date: Wed, 17 Apr 2024 17:50:24 GMT
ステータス: 処理完了
システム内更新日: 2024-04-18 12:56:30.587996
Title: Variational Bayesian Last Layers
Title（参考訳）: 変分ベイズ最後の層
Authors: James Harrison, John Willes, Jasper Snoek,
Abstract要約: ベイズ最後の層ニューラルネットワークをトレーニングするための決定論的変分定式化を導入する。これによりサンプリング不要の単一パスモデルと損失が得られ、不確実性推定を効果的に改善する。 VBLLを実験的に検討し, 予測精度, キャリブレーション, 分布検出の精度をベースライン上で向上することを示した。
参考スコア（独自算出の注目度）: 14.521406172240845
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce a deterministic variational formulation for training Bayesian last layer neural networks. This yields a sampling-free, single-pass model and loss that effectively improves uncertainty estimation. Our variational Bayesian last layer (VBLL) can be trained and evaluated with only quadratic complexity in last layer width, and is thus (nearly) computationally free to add to standard architectures. We experimentally investigate VBLLs, and show that they improve predictive accuracy, calibration, and out of distribution detection over baselines across both regression and classification. Finally, we investigate combining VBLL layers with variational Bayesian feature learning, yielding a lower variance collapsed variational inference method for Bayesian neural networks.
Abstract（参考訳）: ベイズ最後の層ニューラルネットワークをトレーニングするための決定論的変分定式化を導入する。これによりサンプリング不要の単一パスモデルと損失が得られ、不確実性推定を効果的に改善する。我々の変分ベイズ最後の層(VBLL)は、最終層幅の2次複雑さだけで訓練および評価が可能であり、したがって(ほぼ)計算的に標準アーキテクチャに追加できる。 VBLLを実験的に検討し, 予測精度, キャリブレーション, 分布検出の精度を, 回帰, 分類の両面で改善したことを示す。最後に,VBLL層と変分ベイズ的特徴学習を組み合わせることを検討した。

関連論文リスト

BALI: Learning Neural Networks via Bayesian Layerwise Inference [6.7819070167076045]
我々はベイズニューラルネットワークを学習し,それを多変量ベイズ線形回帰モデルのスタックとして扱う新しい手法を提案する。主なアイデアは、各レイヤの目標出力を正確に知っていれば、階層的に後方に推論することである。これらの擬似ターゲットをフォワードパスから出力する層として定義し、対象関数のバックプロパゲーションによって更新する。
論文参考訳（メタデータ） (2024-11-18T22:18:34Z)
Multivariate Bayesian Last Layer for Regression: Uncertainty Quantification and Disentanglement [4.137574627759939]
異方性雑音下での多変量回帰の設定に新しいベイズラストレイヤーモデルを提案する。パラメータ学習のための最適化アルゴリズムを提案する。このフレームワークは、正統的な訓練を受けたディープニューラルネットワークを、不確実性を認識した新しいデータドメインに転送するために使用できることを示す。
論文参考訳（メタデータ） (2024-05-02T21:53:32Z)
Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文参考訳（メタデータ） (2023-09-02T01:27:53Z)
Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。提案手法は, スケーラビリティと精度のバランスをとる。
論文参考訳（メタデータ） (2023-06-16T08:34:42Z)
Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
不確実性定量化は機械学習において重要な課題である。本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文参考訳（メタデータ） (2023-02-21T20:23:56Z)
Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文参考訳（メタデータ） (2022-07-04T15:41:02Z)
Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。本手法は精度と不確実性の両方を向上することを示す。
論文参考訳（メタデータ） (2021-09-27T01:09:08Z)
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文参考訳（メタデータ） (2021-03-15T16:16:18Z)
Variational Laplace for Bayesian neural networks [33.46810568687292]
我々はベイズニューラルネットワーク(BNN)のための変分ラプラスを開発する。我々は,ニューラルネットワークの重みをサンプリングすることなく,ELBOの曲率を局所的に近似し,ELBOを推定する。分散パラメータの学習率を増大させることにより,早期停止を回避できることを示す。
論文参考訳（メタデータ） (2020-11-20T15:16:18Z)
Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文参考訳（メタデータ） (2020-06-26T13:50:19Z)
Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。