論文の概要: Constraining cosmological parameters from N-body simulations with
Variational Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2301.03991v1
- Date: Mon, 9 Jan 2023 16:07:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 16:35:31.690175
- Title: Constraining cosmological parameters from N-body simulations with
Variational Bayesian Neural Networks
- Title(参考訳): 変分ベイズニューラルネットワークを用いたN体シミュレーションによる宇宙パラメータの制約
- Authors: H\'ector J. Hort\'ua, Luz \'Angela Garc\'ia and Leonardo Casta\~neda C
- Abstract要約: 乗法正規化フロー (MNFs) はBNNのパラメータの近似後流の族である。
我々は,標準BNNとフリップアウト推定器についてMNFの比較を行った。
MNFは、変動近似によって導入されたバイアスを緩和する真の後部へのより現実的な予測分布を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Methods based on Deep Learning have recently been applied on astrophysical
parameter recovery thanks to their ability to capture information from complex
data. One of these methods is the approximate Bayesian Neural Networks (BNNs)
which have demonstrated to yield consistent posterior distribution into the
parameter space, helpful for uncertainty quantification. However, as any modern
neural networks, they tend to produce overly confident uncertainty estimates
and can introduce bias when BNNs are applied to data. In this work, we
implement multiplicative normalizing flows (MNFs), a family of approximate
posteriors for the parameters of BNNs with the purpose of enhancing the
flexibility of the variational posterior distribution, to extract $\Omega_m$,
$h$, and $\sigma_8$ from the QUIJOTE simulations. We have compared this method
with respect to the standard BNNs, and the flipout estimator. We found that
MNFs combined with BNNs outperform the other models obtaining predictive
performance with almost one order of magnitude larger that standard BNNs,
$\sigma_8$ extracted with high accuracy ($r^2=0.99$), and precise uncertainty
estimates. The latter implies that MNFs provide more realistic predictive
distribution closer to the true posterior mitigating the bias introduced by the
variational approximation and allowing to work with well-calibrated networks.
- Abstract(参考訳): 深層学習に基づく手法は, 複雑なデータから情報を取り出す能力により, 宇宙物理パラメータの回復に応用されている。
これらの手法の1つは近似ベイズニューラルネットワーク(BNN)であり、パラメータ空間に一貫した後続分布を導出し、不確実な定量化に役立っている。
しかしながら、現代のニューラルネットワークと同様に、過度に確実な不確実性推定を生成し、BNNがデータに適用されたときにバイアスを発生させる傾向がある。
本研究では,bnnのパラメータに対する近似後値の族である乗法正規化フロー(mnfs)を実装し,変分後値分布の柔軟性向上を目的として,quijoteシミュレーションから$\omega_m$,$h$,$\sigma_8$を抽出する。
我々は,この手法を標準BNNとフリップアウト推定器と比較した。
その結果,MNFとBNNの組合せは,標準BNNの約1桁の精度で予測性能が得られ,高い精度(r^2=0.99$)で抽出された$\sigma_8$,精度の高い不確実性推定が得られた。
後者は、mnfは変分近似によって引き起こされるバイアスを緩和し、適切に調整されたネットワークで作業できる真の後方のバイアスに近いより現実的な予測分布を提供することを示唆している。
関連論文リスト
- Uncertainty Quantification in Multivariable Regression for Material Property Prediction with Bayesian Neural Networks [37.69303106863453]
物理インフォームドBNNにおける不確実性定量化(UQ)のアプローチを提案する。
本稿では, 鋼のクリープ破断寿命を予測するためのケーススタディを提案する。
クリープ寿命予測の最も有望なフレームワークは、マルコフ・チェイン・モンテカルロによるネットワークパラメータの後方分布の近似に基づくBNNである。
論文 参考訳(メタデータ) (2023-11-04T19:40:16Z) - Single-shot Bayesian approximation for neural networks [0.0]
ディープニューラルネットワーク(NN)はその高い予測性能で知られている。
NNは不確実性を示すことなく、全く新しい状況に遭遇すると信頼できない予測を下す傾向にある。
単発MCドロップアウト近似は,BNNの利点を保ちながら,NNと同じくらい高速であることを示す。
論文 参考訳(メタデータ) (2023-08-24T13:40:36Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳(メタデータ) (2023-05-05T09:40:28Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Model Architecture Adaption for Bayesian Neural Networks [9.978961706999833]
我々はBNNを精度と不確実性の両方に最適化する新しいネットワークアーキテクチャサーチ(NAS)を示す。
我々の実験では,探索されたモデルでは,最先端(ディープアンサンブル)と比較して,不確実性と精度が比較できる。
論文 参考訳(メタデータ) (2022-02-09T10:58:50Z) - Exploring the Uncertainty Properties of Neural Networks' Implicit Priors
in the Infinite-Width Limit [47.324627920761685]
我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。
これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。
また,従来のNNGPを用いた分類手法の校正について検討した。
論文 参考訳(メタデータ) (2020-10-14T18:41:54Z) - An Infinite-Feature Extension for Bayesian ReLU Nets That Fixes Their
Asymptotic Overconfidence [65.24701908364383]
ベイズ処理は、トレーニングデータを取り巻くReLUネットの過信を軽減することができる。
しかし、彼らから遠く離れたところでは、ReLUニューラルネットワーク(BNN)はいまだに不確実性を過小評価し過ぎている可能性がある。
事前学習した任意のReLU BNNに対して,低コストでemphpost-hocを適用可能であることを示す。
論文 参考訳(メタデータ) (2020-10-06T13:32:18Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。
実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
論文 参考訳(メタデータ) (2020-06-18T13:57:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。