論文の概要: Empowering Bayesian Neural Networks with Functional Priors through Anchored Ensembling for Mechanics Surrogate Modeling Applications
- arxiv url: http://arxiv.org/abs/2409.05234v1
- Date: Sun, 8 Sep 2024 22:27:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-10 16:22:22.977111
- Title: Empowering Bayesian Neural Networks with Functional Priors through Anchored Ensembling for Mechanics Surrogate Modeling Applications
- Title（参考訳）: メカニックサロゲートモデリング応用のためのアンコレッド構成によるベイズニューラルネットワークの先駆的機能強化
- Authors: Javad Ghorbanian, Nicholas Casaprima, Audrey Olivier,
- Abstract要約: 本稿では,関数空間で利用可能な事前情報を統合するアンカー型アンサンブルに基づく新しいBNNトレーニング手法を提案する。
アンカーリング方式は, NNパラメータ間の低ランク相関を利用して, 事前学習から関数前の実現まで学習する。
また,既存のBNN実装では無視されることが多いNN重み間の相関が,関数空間とパラメータ空間の事前知識を適切に伝達する上で重要であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, neural networks (NNs) have become increasingly popular for surrogate modeling tasks in mechanics and materials modeling applications. While traditional NNs are deterministic functions that rely solely on data to learn the input--output mapping, casting NN training within a Bayesian framework allows to quantify uncertainties, in particular epistemic uncertainties that arise from lack of training data, and to integrate a priori knowledge via the Bayesian prior. However, the high dimensionality and non-physicality of the NN parameter space, and the complex relationship between parameters (NN weights) and predicted outputs, renders both prior design and posterior inference challenging. In this work we present a novel BNN training scheme based on anchored ensembling that can integrate a priori information available in the function space, from e.g. low-fidelity models. The anchoring scheme makes use of low-rank correlations between NN parameters, learnt from pre-training to realizations of the functional prior. We also perform a study to demonstrate how correlations between NN weights, which are often neglected in existing BNN implementations, is critical to appropriately transfer knowledge between the function-space and parameter-space priors. Performance of our novel BNN algorithm is first studied on a small 1D example to illustrate the algorithm's behavior in both interpolation and extrapolation settings. Then, a thorough assessment is performed on a multi--input--output materials surrogate modeling example, where we demonstrate the algorithm's capabilities both in terms of accuracy and quality of the uncertainty estimation, for both in-distribution and out-of-distribution data.
- Abstract（参考訳）: 近年、ニューラルネットワーク(NN)は、力学および材料モデリング応用におけるモデリングタスクの代理として人気が高まっている。
従来のNNは、入力出力マッピングを学習するためにデータのみに依存する決定論的関数であるが、ベイジアンフレームワーク内でのNNトレーニングは、トレーニングデータの欠如から生じる特にてんかんの不確実性を定量化し、ベイジアンの事前知識を統合することができる。
しかし、NNパラメータ空間の高次元性と非物理性、およびパラメータ(NN重み)と予測出力の間の複雑な関係は、事前の設計と後部推論の両方を困難にしている。
本稿では,関数空間で利用できる事前情報を,例えば低忠実度モデルから統合できるアンカー型アンサンブルに基づく新しいBNNトレーニング手法を提案する。
アンカーリング方式は, NNパラメータ間の低ランク相関を利用して, 事前学習から関数前の実現まで学習する。
また,既存のBNN実装では無視されることが多いNN重み間の相関が,関数空間とパラメータ空間の事前知識を適切に伝達する上で重要であることを示す。
BNNアルゴリズムの性能は, 補間と外挿の両方の設定において, アルゴリズムの挙動を説明するために, 1次元の小さな例で検討した。
次に、マルチインプット・アウトプット・マテリアル・サロゲート・モデリングの例で徹底的な評価を行い、不確実性推定の精度と品質の両面からアルゴリズムの能力を、分配データとアウト・オブ・ディストリビューションデータの両方に対して示す。
関連論文リスト
- Active Learning with Fully Bayesian Neural Networks for Discontinuous and Nonstationary Data [0.0]
我々は,「小さなデータ」体制下でのアクティブな学習タスクに対して,完全ベイズニューラルネットワーク(FBNN)を導入する。
FBNNは信頼性の高い予測分布を提供し、アクティブな学習環境における不確実性の下で情報的意思決定に不可欠である。
そこで我々は,FBNNの「小型データ」システムにおけるアクティブな学習課題に対するNo-U-Turn Samplerを用いて,FBNNの適合性と性能を評価する。
論文 参考訳（メタデータ） (2024-05-16T05:20:47Z) - Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。
提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-20T22:34:53Z) - Uncertainty Quantification in Multivariable Regression for Material Property Prediction with Bayesian Neural Networks [37.69303106863453]
物理インフォームドBNNにおける不確実性定量化(UQ)のアプローチを提案する。
本稿では, 鋼のクリープ破断寿命を予測するためのケーススタディを提案する。
クリープ寿命予測の最も有望なフレームワークは、マルコフ・チェイン・モンテカルロによるネットワークパラメータの後方分布の近似に基づくBNNである。
論文 参考訳（メタデータ） (2023-11-04T19:40:16Z) - Amortised Inference in Bayesian Neural Networks [0.0]
Amortized Pseudo-Observation Variational Inference Bayesian Neural Network (APOVI-BNN)を紹介する。
補正された推論は、従来の変分推論によって得られたものと類似または良好な品質であることが示される。
次に、APOVI-BNNをニューラルプロセスファミリーの新たなメンバーと見なす方法について論じる。
論文 参考訳（メタデータ） (2023-09-06T14:02:33Z) - Quantifying uncertainty for deep learning based forecasting and
flow-reconstruction using neural architecture search ensembles [0.8258451067861933]
本稿では,ディープニューラルネットワーク(DNN)の自動検出手法を提案するとともに,アンサンブルに基づく不確実性定量化にも有効であることを示す。
提案手法は,タスクの高パフォーマンスニューラルネットワークアンサンブルを検出するだけでなく,不確実性をシームレスに定量化する。
本研究では, 歴史的データからの予測と, 海面温度のスパースセンサからのフロー再構成という2つの課題に対して, この枠組みの有効性を実証する。
論文 参考訳（メタデータ） (2023-02-20T03:57:06Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。
その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文 参考訳（メタデータ） (2020-09-13T21:12:20Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Hierarchical Gaussian Process Priors for Bayesian Neural Network Weights [16.538973310830414]
望ましい事前分類は、重みをコンパクトに表現し、重み間の相関を捉え、事前知識を含ませることである。
i) 相関重み構造を柔軟にエンコード可能な単位埋め込みに基づくネットワーク重みのプロセスベース階層モデルと,(ii) 関数空間の規則化に便利な入力依存型の重み前のモデルを提案する。
これらのモデルは、分布外データに基づいて望ましいテスト時間不確実性推定を提供し、カーネルを用いたニューラルネットワークの帰納バイアスをモデル化する事例を示し、アクティブラーニングベンチマークで競合予測性能を示す。
論文 参考訳（メタデータ） (2020-02-10T07:19:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。