論文の概要: Variational Bayesian Optimal Experimental Design with Normalizing Flows
- arxiv url: http://arxiv.org/abs/2404.13056v1
- Date: Mon, 8 Apr 2024 14:44:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-28 11:25:01.618460
- Title: Variational Bayesian Optimal Experimental Design with Normalizing Flows
- Title（参考訳）: 正規化流を用いた変分ベイズ最適実験設計
- Authors: Jiayuan Dong, Christian Jacobsen, Mehdi Khalloufi, Maryam Akram, Wanjiao Liu, Karthik Duraisamy, Xun Huan,
- Abstract要約: 変分OEDは、可能性評価なしでEIGの下位境界を推定する。
本稿では,vOEDにおける変分分布を表現するための正規化フローについて紹介する。
その結果,4〜5層の合成により,より低いEIG推定バイアスが得られることがわかった。
- 参考スコア（独自算出の注目度）: 0.837622912636323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimal experimental design (OED) seeks experiments that maximize the expected information gain (EIG) in model parameters. Directly estimating the EIG using nested Monte Carlo is computationally expensive and requires an explicit likelihood. Variational OED (vOED), in contrast, estimates a lower bound of the EIG without likelihood evaluations by approximating the posterior distributions with variational forms, and then tightens the bound by optimizing its variational parameters. We introduce the use of normalizing flows (NFs) for representing variational distributions in vOED; we call this approach vOED-NFs. Specifically, we adopt NFs with a conditional invertible neural network architecture built from compositions of coupling layers, and enhanced with a summary network for data dimension reduction. We present Monte Carlo estimators to the lower bound along with gradient expressions to enable a gradient-based simultaneous optimization of the variational parameters and the design variables. The vOED-NFs algorithm is then validated in two benchmark problems, and demonstrated on a partial differential equation-governed application of cathodic electrophoretic deposition and an implicit likelihood case with stochastic modeling of aphid population. The findings suggest that a composition of 4--5 coupling layers is able to achieve lower EIG estimation bias, under a fixed budget of forward model runs, compared to previous approaches. The resulting NFs produce approximate posteriors that agree well with the true posteriors, able to capture non-Gaussian and multi-modal features effectively.
- Abstract（参考訳）: ベイズ最適実験設計(OED)は、モデルパラメータにおける期待情報ゲイン(EIG)を最大化する実験を求める。
ネストしたモンテカルロを用いて直接EIGを推定することは計算コストが高く、明確な可能性を必要とする。
一方、変分 OED (vOED) は、後部分布を変分形式で近似し、その変分パラメータを最適化することにより、EIGの下位境界を推定する。
我々は,vOEDの変分分布を表すために正規化フロー(NFs)を導入し,この手法をvOED-NFsと呼ぶ。
具体的には、結合層の合成から構築された条件付き可逆ニューラルネットワークアーキテクチャを持つNFを採用し、データ次元削減のための要約ネットワークで拡張する。
変分パラメータと設計変数の勾配に基づく同時最適化を可能にするために、勾配式とともに下界にモンテカルロ推定器を提示する。
vOED-NFsアルゴリズムは2つのベンチマーク問題で検証され、カソード電気泳動堆積の偏微分方程式が支配する応用と、アフィド集団の確率的モデリングを伴う暗黙の確率ケースで実証される。
その結果,4--5結合層の組成は,前向きモデル実行の固定予算下において,より低いEIG推定バイアスを達成できることが示唆された。
結果として得られるNFは、真の後部とよく一致する近似的な後部を生成し、非ガウス的およびマルチモーダル的特徴を効果的に捉えることができる。
関連論文リスト
- Expected Information Gain Estimation via Density Approximations: Sample Allocation and Dimension Reduction [0.40964539027092906]
一般非線形/非ガウス的設定におけるEIG推定のためのフレキシブルトランスポートに基づくスキームを定式化する。
この最適サンプル割り当てにより、得られたEIG推定器のMSEは標準ネストされたモンテカルロスキームよりも高速に収束することを示す。
次に、パラメータを投影し、低次元部分空間に観測することで失われる相互情報の勾配に基づく上界を導出することにより、高次元でのEIGの推定に対処する。
論文 参考訳（メタデータ） (2024-11-13T07:22:50Z) - Scalable method for Bayesian experimental design without integrating
over posterior distribution [0.0]
実験問題のA-最適ベイズ設計における計算効率について検討する。
A-最適性はベイズの実験設計に広く用いられ、容易に解釈できる基準である。
本研究は, A-Optimal 実験設計における新しい可能性のないアプローチを提案する。
論文 参考訳（メタデータ） (2023-06-30T12:40:43Z) - Variational Sequential Optimal Experimental Design using Reinforcement
Learning [0.0]
ベイジアン・フレームワークと情報ゲイン・ユーティリティを用いた有限列実験を最適に設計する新しい手法である変分逐次最適実験設計(vsOED)を導入する。
以上の結果から,従来の逐次設計アルゴリズムと比較して,サンプル効率が大幅に向上し,前方モデルシミュレーションの数が減少したことが示唆された。
論文 参考訳（メタデータ） (2023-06-17T21:47:19Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳（メタデータ） (2022-11-30T18:59:27Z) - Robust Expected Information Gain for Optimal Bayesian Experimental
Design Using Ambiguity Sets [0.0]
我々は、経験的期待情報ゲイン(REIG)を定義し、分析する。
REIGは、摂動分布のあいまいな集合上でのEIGのアフィン緩和を最小化することにより、EIGの目的を変更したものである。
EIGを推定するためのサンプリングベースアプローチと組み合わせると、REIGはEIGを推定するのに使用するサンプルの対数-sum-expの安定化に対応することを示す。
論文 参考訳（メタデータ） (2022-05-20T01:07:41Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Information Theoretic Structured Generative Modeling [13.117829542251188]
構造生成モデル (Structured Generative Model, SGM) と呼ばれる新しい生成モデルフレームワークが提案され, 簡単な最適化が可能となった。
この実装では、無限のガウス混合モデルを学習するために適合した単一白色ノイズ源への正則入力によって駆動される1つのニューラルネットワークを採用している。
予備的な結果は、SGMがデータ効率と分散、従来のガウス混合モデルと変分混合モデル、および敵ネットワークのトレーニングにおいてMINE推定を著しく改善することを示している。
論文 参考訳（メタデータ） (2021-10-12T07:44:18Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳（メタデータ） (2021-01-15T11:39:09Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。