論文の概要: Flat Seeking Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2302.02713v5
- Date: Mon, 6 Nov 2023 06:01:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 01:03:00.304807
- Title: Flat Seeking Bayesian Neural Networks
- Title(参考訳): ベイズニューラルネットワークを探索するフラット
- Authors: Van-Anh Nguyen, Tung-Long Vuong, Hoang Phan, Thanh-Toan Do, Dinh
Phung, Trung Le
- Abstract要約: 我々は、シャープネスを意識した後部における理論、ベイズ的設定、および変分推論アプローチを開発する。
具体的には、シャープネス認識後部から採取したモデルと、このシャープネス認識後部を推定する最適な近似後部モデルにより、平坦性が向上した。
我々は最先端のベイズニューラルネットワークによるシャープネス認識後部を応用して実験を行う。
- 参考スコア(独自算出の注目度): 32.61417343756841
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian Neural Networks (BNNs) provide a probabilistic interpretation for
deep learning models by imposing a prior distribution over model parameters and
inferring a posterior distribution based on observed data. The model sampled
from the posterior distribution can be used for providing ensemble predictions
and quantifying prediction uncertainty. It is well-known that deep learning
models with lower sharpness have better generalization ability. However,
existing posterior inferences are not aware of sharpness/flatness in terms of
formulation, possibly leading to high sharpness for the models sampled from
them. In this paper, we develop theories, the Bayesian setting, and the
variational inference approach for the sharpness-aware posterior. Specifically,
the models sampled from our sharpness-aware posterior, and the optimal
approximate posterior estimating this sharpness-aware posterior, have better
flatness, hence possibly possessing higher generalization ability. We conduct
experiments by leveraging the sharpness-aware posterior with state-of-the-art
Bayesian Neural Networks, showing that the flat-seeking counterparts outperform
their baselines in all metrics of interest.
- Abstract(参考訳): ベイズニューラルネットワーク(BNN)は、モデルパラメータに事前分布を付与し、観測データに基づいて後続分布を推定することにより、ディープラーニングモデルに対する確率論的解釈を提供する。
後方分布からサンプリングされたモデルは、アンサンブル予測と予測の不確かさの定量化に使用できる。
シャープ性の低いディープラーニングモデルの方が一般化能力が高いことはよく知られている。
しかし、既存の後進推論は定式化の観点からはシャープネス/フラットネスを意識していないため、これらのモデルからサンプリングされたモデルの鋭さが高まる可能性がある。
本稿では,ベイズ設定の理論と,シャープネスを意識した後部における変分推論手法を開発する。
特に、鋭さを認識できる後方モデルと、この鋭さを認識できる後方を推定する最適近似モデルでは、より平坦性が向上し、より高い一般化能力を持つ可能性がある。
我々は、最先端のベイジアンニューラルネットワークとシャープネス認識後部を併用して実験を行い、フラットな探索相手が関心のあるすべての指標においてベースラインを上回っていることを示す。
関連論文リスト
- Towards Improved Variational Inference for Deep Bayesian Models [7.841254447222393]
本論では,変分推論(VI)を近似として用いることを検討する。
VI は後部を同時に近似し、限界度に低い境界を与えるという点で特異である。
本稿ではベイズニューラルネットワークと深いガウス過程における推論の統一的なビューを提供する変分後部を提案する。
論文 参考訳(メタデータ) (2024-01-23T00:40:20Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳(メタデータ) (2023-10-20T10:20:45Z) - Do Bayesian Variational Autoencoders Know What They Don't Know? [0.6091702876917279]
OoD(Out-of-Distribution)入力を検出する問題は、ディープニューラルネットワークにとって最重要課題である。
入力の密度を推定できる深部生成モデルでさえ、信頼できない可能性があることが以前に示されている。
本稿では,マルコフ連鎖モンテカルロ,バックプロパゲーションによるベイズ勾配,およびウェイト平均ガウスの3つの推論手法について検討する。
論文 参考訳(メタデータ) (2022-12-29T11:48:01Z) - Non-Volatile Memory Accelerated Posterior Estimation [3.4256231429537936]
現在の機械学習モデルは、予測を行う際に単一の学習可能なパラメータの組み合わせのみを使用する。
高容量永続ストレージを利用することで、後部分布が大きすぎて近似できないモデルが実現可能であることを示す。
論文 参考訳(メタデータ) (2022-02-21T20:25:57Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳(メタデータ) (2021-02-22T07:02:37Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳(メタデータ) (2020-10-27T17:56:14Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳(メタデータ) (2020-02-24T08:52:06Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳(メタデータ) (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。