論文の概要: Multi-fidelity Bayesian Neural Networks: Algorithms and Applications
- arxiv url: http://arxiv.org/abs/2012.13294v1
- Date: Sat, 19 Dec 2020 02:03:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 16:56:07.308539
- Title: Multi-fidelity Bayesian Neural Networks: Algorithms and Applications
- Title（参考訳）: 多要素ベイズニューラルネットワーク:アルゴリズムとその応用
- Authors: Xuhui Meng, Hessam Babaee, and George Em Karniadakis
- Abstract要約: 本稿では,可変忠実度の雑音データを用いて訓練できるベイズ型ニューラルネットワーク(BNN)を提案する。
関数近似の学習や、偏微分方程式(PDE)に基づく逆問題の解法に応用する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a new class of Bayesian neural networks (BNNs) that can be trained
using noisy data of variable fidelity, and we apply them to learn function
approximations as well as to solve inverse problems based on partial
differential equations (PDEs). These multi-fidelity BNNs consist of three
neural networks: The first is a fully connected neural network, which is
trained following the maximum a posteriori probability (MAP) method to fit the
low-fidelity data; the second is a Bayesian neural network employed to capture
the cross-correlation with uncertainty quantification between the low- and
high-fidelity data; and the last one is the physics-informed neural network,
which encodes the physical laws described by PDEs. For the training of the last
two neural networks, we use the Hamiltonian Monte Carlo method to estimate
accurately the posterior distributions for the corresponding hyperparameters.
We demonstrate the accuracy of the present method using synthetic data as well
as real measurements. Specifically, we first approximate a one- and
four-dimensional function, and then infer the reaction rates in one- and
two-dimensional diffusion-reaction systems. Moreover, we infer the sea surface
temperature (SST) in the Massachusetts and Cape Cod Bays using satellite images
and in-situ measurements. Taken together, our results demonstrate that the
present method can capture both linear and nonlinear correlation between the
low- and high-fideilty data adaptively, identify unknown parameters in PDEs,
and quantify uncertainties in predictions, given a few scattered noisy
high-fidelity data. Finally, we demonstrate that we can effectively and
efficiently reduce the uncertainties and hence enhance the prediction accuracy
with an active learning approach, using as examples a specific one-dimensional
function approximation and an inverse PDE problem.
- Abstract（参考訳）: 本稿では,可変忠実性のノイズデータを用いて学習可能なベイズ型ニューラルネットワーク(bnns)の新たなクラスを提案し,関数近似の学習や偏微分方程式(pdes)に基づく逆問題を解く。
BNNは3つのニューラルネットワークで構成されている: 1つは完全連結ニューラルネットワークで、これは低忠実度データに適合する最大アプテリ確率(MAP)法に従って訓練され、2つ目は低忠実度データと高忠実度データの間の不確実性定量化による相互相関を捉えるために使用されるベイズニューラルネットワーク、そしてもう1つは物理情報処理で記述された物理法則を符号化するニューラルネットワークである。
最後の2つのニューラルネットワークのトレーニングのために、ハミルトニアンモンテカルロ法を用いて、対応するハイパーパラメータの後方分布を正確に推定する。
本稿では合成データと実測値を用いて,本手法の精度を示す。
具体的には、まず1次元と4次元の関数を近似し、1次元と2次元の拡散反応系の反応速度を推定する。
さらに,マサチューセッツ州およびケープコッド湾の海面温度 (sst) を衛星画像とその場測定を用いて推定した。
その結果,本手法は低次・高次データ間の線形および非線形の相関関係を適応的に捉え,未知パラメータをPDEで同定し,ノイズの多い高忠実度データから予測の不確かさを定量化できることを示した。
最後に,特定の一次元関数近似と逆PDE問題を用いて,不確かさを効果的かつ効率的に低減し,能動的学習手法による予測精度を向上させることを実証した。
関連論文リスト
- Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。
この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
論文 参考訳（メタデータ） (2024-04-29T23:38:58Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳（メタデータ） (2023-12-04T01:32:42Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳（メタデータ） (2023-05-05T09:40:28Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Assessments of model-form uncertainty using Gaussian stochastic weight
averaging for fluid-flow regression [0.0]
我々は,ニューラルネットワークに基づく関数近似に関連したモデル形状の不確実性を評価するために,ガウス量平均化(SWAG)を用いた。
SWAGは、各重量の後方ガウス分布、与えられたトレーニングデータ、一定の学習率を近似する。
本稿では,2種類のニューラルネットワークに適用可能であることを示す。
論文 参考訳（メタデータ） (2021-09-16T23:13:26Z) - Learning Functional Priors and Posteriors from Data and Physics [3.537267195871802]
我々は、歴史的データを用いて時空の露光を可能にするディープニューラルネットワークに基づく新しいフレームワークを開発した。
物理インフォームド・ジェネレーティブ・アダクティブ・アダクティブ・ネットワーク(PI-GAN)を用いて機能的事前学習を行う。
第2段階では, PI-GANの潜伏空間の後方を推定するために, ハミルトニアンモンテカルロ法(HMC)を用いる。
論文 参考訳（メタデータ） (2021-06-08T03:03:24Z) - Physics-aware deep neural networks for surrogate modeling of turbulent
natural convection [0.0]
Rayleigh-B'enard乱流流に対するPINNのサーロゲートモデルの使用を検討する。
標準ピンの精度が低いゾーンであるトレーニング境界に近い正規化として、どのように機能するかを示す。
50億のDNS座標全体のサロゲートの予測精度は、相対的なL2ノルムで[0.3% -- 4%]の範囲のすべてのフロー変数のエラーをもたらします。
論文 参考訳（メタデータ） (2021-03-05T09:48:57Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。