論文の概要: Alpha-VI DeepONet: A prior-robust variational Bayesian approach for enhancing DeepONets with uncertainty quantification
- arxiv url: http://arxiv.org/abs/2408.00681v1
- Date: Thu, 1 Aug 2024 16:22:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-04 19:57:15.770258
- Title: Alpha-VI DeepONet: A prior-robust variational Bayesian approach for enhancing DeepONets with uncertainty quantification
- Title（参考訳）: Alpha-VI DeepONet:不確実性定量化によるDeepONets向上のための事前ロバスト変分ベイズ的アプローチ
- Authors: Soban Nasir Lone, Subhayan De, Rajdip Nayek,
- Abstract要約: 一般化変分推論(GVI)を組み込んだ新しいディープオペレータネットワーク(DeepONet)を提案する。
分岐ネットワークとトランクネットワークのビルディングブロックとしてベイズニューラルネットワークを組み込むことで,不確実な定量化が可能なDeepONetを実現する。
変動目的関数の修正は平均二乗誤差を最小化する点で優れた結果をもたらすことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We introduce a novel deep operator network (DeepONet) framework that incorporates generalised variational inference (GVI) using R\'enyi's $\alpha$-divergence to learn complex operators while quantifying uncertainty. By incorporating Bayesian neural networks as the building blocks for the branch and trunk networks, our framework endows DeepONet with uncertainty quantification. The use of R\'enyi's $\alpha$-divergence, instead of the Kullback-Leibler divergence (KLD), commonly used in standard variational inference, mitigates issues related to prior misspecification that are prevalent in Variational Bayesian DeepONets. This approach offers enhanced flexibility and robustness. We demonstrate that modifying the variational objective function yields superior results in terms of minimising the mean squared error and improving the negative log-likelihood on the test set. Our framework's efficacy is validated across various mechanical systems, where it outperforms both deterministic and standard KLD-based VI DeepONets in predictive accuracy and uncertainty quantification. The hyperparameter $\alpha$, which controls the degree of robustness, can be tuned to optimise performance for specific problems. We apply this approach to a range of mechanics problems, including gravity pendulum, advection-diffusion, and diffusion-reaction systems. Our findings underscore the potential of $\alpha$-VI DeepONet to advance the field of data-driven operator learning and its applications in engineering and scientific domains.
- Abstract（参考訳）: 我々はR\'enyiの$\alpha$-divergenceを用いて一般化変分推論(GVI)を組み込んだDeepONet(DeepONet)フレームワークを導入し、不確実性を定量化しながら複素作用素を学習する。
分岐ネットワークとトランクネットワークのビルディングブロックとしてベイズニューラルネットワークを組み込むことで,不確実な定量化が可能なDeepONetを実現する。
R\'enyiの$\alpha$-divergence(英語版)(KLD)の代わりに、標準変分推論で一般的に使用されるKLDの代わりに、R\'enyiの$\alpha$-divergence(英語版)を使用することにより、変分ベイズディープノネットでよく見られる事前の誤特定に関連する問題を緩和する。
このアプローチは柔軟性と堅牢性を高めます。
変動目的関数の変更は、平均二乗誤差を最小限に抑え、テストセット上の負の対数類似性を改善するという点で、優れた結果をもたらすことを実証する。
本フレームワークの有効性は, 各種機械システムにおいて検証され, 予測精度と不確実性定量化において, 決定論的および標準KLDベースのVI DeepONetsよりも優れていた。
強靭性の度合いを制御するハイパーパラメータ $\alpha$ は、特定の問題のパフォーマンスを最適化するために調整することができる。
本稿では, 重力振子, 対流拡散, 拡散反応系など, 様々な力学問題に適用する。
我々の発見は、データ駆動型演算子学習の分野とその工学および科学分野への応用を前進させるために、$\alpha$-VI DeepONetの可能性を浮き彫りにした。
関連論文リスト
- Variational Bayesian Bow tie Neural Networks with Shrinkage [0.276240219662896]
我々は、標準フィードフォワード修正ニューラルネットワークの緩和版を構築した。
我々は、条件付き線形およびガウス的モデルをレンダリングするために、Polya-Gammaデータ拡張トリックを用いる。
層間における分布仮定や独立性を回避する変分推論アルゴリズムを導出する。
論文 参考訳（メタデータ） (2024-11-17T17:36:30Z) - Uncertainty Quantification for Forward and Inverse Problems of PDEs via
Latent Global Evolution [110.99891169486366]
本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。
本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。
提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
論文 参考訳（メタデータ） (2024-02-13T11:22:59Z) - Understanding, Predicting and Better Resolving Q-Value Divergence in
Offline-RL [86.0987896274354]
まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。
そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。
われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
論文 参考訳（メタデータ） (2023-10-06T17:57:44Z) - Single Model Uncertainty Estimation via Stochastic Data Centering [39.71621297447397]
私たちは、ディープニューラルネットワークの不確実性を見積もることに興味があります。
我々は、一定のバイアスによってシフトしたデータセットに基づいてトレーニングされた、同じ重み付きニューラルネットワークのアンサンブルが、わずかに一貫性のないトレーニングモデルを引き起こすという驚くべき新しい発見を提示する。
我々は、$Delta-$UQの不確実性推定が、様々なベンチマークにおける現在の多くの手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-07-14T23:54:54Z) - Variational Bayes Deep Operator Network: A data-driven Bayesian solver
for parametric differential equations [0.0]
演算子学習のための変分ベイズDeepONet(VB-DeepONet)を提案する。
VB-DeepONetは、高次元後部分布を考慮した変分推論を用いる。
論文 参考訳（メタデータ） (2022-06-12T04:20:11Z) - The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。
我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
論文 参考訳（メタデータ） (2022-05-20T10:10:32Z) - CC-Cert: A Probabilistic Approach to Certify General Robustness of
Neural Networks [58.29502185344086]
安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。
意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。
我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
論文 参考訳（メタデータ） (2021-09-22T12:46:04Z) - Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。
これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。
我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
論文 参考訳（メタデータ） (2020-12-10T23:28:36Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳（メタデータ） (2020-12-03T10:17:30Z) - Efficient Variational Inference for Sparse Deep Learning with
Theoretical Guarantee [20.294908538266867]
スパースディープラーニングは、ディープニューラルネットワークによる巨大なストレージ消費の課題に対処することを目的としている。
本稿では,スパイク・アンド・スラブ前処理による完全ベイズ処理により,疎いディープニューラルネットワークを訓練する。
我々はベルヌーイ分布の連続緩和による計算効率の良い変分推論のセットを開発する。
論文 参考訳（メタデータ） (2020-11-15T03:27:54Z) - Ramifications of Approximate Posterior Inference for Bayesian Deep
Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。
予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
論文 参考訳（メタデータ） (2020-09-03T16:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。