論文の概要: On Cold Posteriors of Probabilistic Neural Networks: Understanding the Cold Posterior Effect and A New Way to Learn Cold Posteriors with Tight Generalization Guarantees
- arxiv url: http://arxiv.org/abs/2410.15310v1
- Date: Sun, 20 Oct 2024 06:40:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:20:58.768071
- Title: On Cold Posteriors of Probabilistic Neural Networks: Understanding the Cold Posterior Effect and A New Way to Learn Cold Posteriors with Tight Generalization Guarantees
- Title（参考訳）: 確率論的ニューラルネットワークの冷間後部について--冷間後部効果の理解と寒間後部学習の新しい方法-
- Authors: Yijie Zhang,
- Abstract要約: ベイズ深層学習では、ニューラルネットワークの重みは事前分布を持つランダム変数として扱われる。
PAC-ベイズ解析は、ランダム化された予測子に対する一般化境界を導出する頻繁なフレームワークを提供する。
観測データの影響と事前正規化のバランスをとることで、ベイズモデルにおける過度な適合や過度な適合の問題に温度調整が対処できる。
- 参考スコア（独自算出の注目度）: 4.532517021515833
- License:
- Abstract: Bayesian inference provides a principled probabilistic framework for quantifying uncertainty by updating beliefs based on prior knowledge and observed data through Bayes' theorem. In Bayesian deep learning, neural network weights are treated as random variables with prior distributions, allowing for a probabilistic interpretation and quantification of predictive uncertainty. However, Bayesian methods lack theoretical generalization guarantees for unseen data. PAC-Bayesian analysis addresses this limitation by offering a frequentist framework to derive generalization bounds for randomized predictors, thereby certifying the reliability of Bayesian methods in machine learning. Temperature $T$, or inverse-temperature $\lambda = \frac{1}{T}$, originally from statistical mechanics in physics, naturally arises in various areas of statistical inference, including Bayesian inference and PAC-Bayesian analysis. In Bayesian inference, when $T < 1$ (``cold'' posteriors), the likelihood is up-weighted, resulting in a sharper posterior distribution. Conversely, when $T > 1$ (``warm'' posteriors), the likelihood is down-weighted, leading to a more diffuse posterior distribution. By balancing the influence of observed data and prior regularization, temperature adjustments can address issues of underfitting or overfitting in Bayesian models, bringing improved predictive performance.
- Abstract（参考訳）: ベイズ推論は、事前の知識とベイズの定理を通して観測されたデータに基づいて信念を更新することによって不確実性を定量化するための原則化された確率的枠組みを提供する。
ベイズ深層学習では、ニューラルネットワークの重みは事前分布を持つランダム変数として扱われ、確率論的解釈と予測の不確実性の定量化が可能である。
しかし、ベイジアン法は、目に見えないデータに対する理論的一般化保証を欠いている。
PAC-ベイジアン解析は、ランダム化された予測子に対する一般化境界を導出する頻繁なフレームワークを提供することにより、機械学習におけるベイジアン手法の信頼性を証明することによって、この制限に対処する。
温度$T$(英: inverse-temperature $\lambda = \frac{1}{T}$)は、物理学の統計力学から派生したもので、ベイズ推定やPAC-ベイズ解析など、様々な統計的推論の領域で自然に発生する。
ベイズ的推論では、$T < 1$ (``cold''' の後部) の場合、その確率は上昇し、よりシャープな後部分布をもたらす。
逆に、$T > 1$ (``warm''' の後部) の場合、確率は下降し、より拡散した後部分布となる。
観測データの影響と事前正規化のバランスをとることで、ベイズモデルにおける過度な適合や過度な適合の問題に対処でき、予測性能が向上する。
関連論文リスト
- Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳（メタデータ） (2023-12-28T18:33:26Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - On the Temperature of Bayesian Graph Neural Networks for Conformal
Prediction [3.4546761246181696]
コンフォーマル予測(CP)は不確実性を定量化するための有望なフレームワークを提供する。
CP は、予測セットが所望の確率を持つ真のラベルを含むことを正式な確率的保証を保証する。
より効率的な予測セットをもたらす温度の存在を実証的に実証する。
論文 参考訳（メタデータ） (2023-10-17T10:24:25Z) - Variational Prediction [95.00085314353436]
本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。
このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
論文 参考訳（メタデータ） (2023-07-14T18:19:31Z) - Adversarial robustness of amortized Bayesian inference [3.308743964406687]
償却ベイズ推論は、当初シミュレーションデータ上の推論ネットワークのトレーニングに計算コストを投資することを目的としている。
観測対象のほとんど認識不能な摂動は、予測された後部および非現実的な後部予測標本に劇的な変化をもたらす可能性があることを示す。
本研究では,条件密度推定器のフィッシャー情報をペナライズした計算効率の高い正規化手法を提案する。
論文 参考訳（メタデータ） (2023-05-24T10:18:45Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - Do Bayesian Variational Autoencoders Know What They Don't Know? [0.6091702876917279]
OoD(Out-of-Distribution)入力を検出する問題は、ディープニューラルネットワークにとって最重要課題である。
入力の密度を推定できる深部生成モデルでさえ、信頼できない可能性があることが以前に示されている。
本稿では,マルコフ連鎖モンテカルロ,バックプロパゲーションによるベイズ勾配,およびウェイト平均ガウスの3つの推論手法について検討する。
論文 参考訳（メタデータ） (2022-12-29T11:48:01Z) - Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。
我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。
実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
論文 参考訳（メタデータ） (2021-05-25T14:35:46Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - The Bayesian Method of Tensor Networks [1.7894377200944511]
ネットワークのベイズ的枠組みを2つの観点から検討する。
本研究では,2次元合成データセットにおけるモデルパラメータと決定境界を可視化することにより,ネットワークのベイズ特性について検討する。
論文 参考訳（メタデータ） (2021-01-01T14:59:15Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。