論文の概要: Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models
- arxiv url: http://arxiv.org/abs/2108.12657v1
- Date: Sat, 28 Aug 2021 14:31:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-31 14:56:14.405110
- Title: Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models
- Title（参考訳）: NoFASによる変分推論:計算費用モデルに対する適応サーロゲート付き流れの正規化
- Authors: Yu Wang, Fang Liu and Daniele E. Schiavazzi
- Abstract要約: マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。
本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
- 参考スコア（独自算出の注目度）: 7.217783736464403
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Fast inference of numerical model parameters from data is an important
prerequisite to generate predictive models for a wide range of applications.
Use of sampling-based approaches such as Markov chain Monte Carlo may become
intractable when each likelihood evaluation is computationally expensive. New
approaches combining variational inference with normalizing flow are
characterized by a computational cost that grows only linearly with the
dimensionality of the latent variable space, and rely on gradient-based
optimization instead of sampling, providing a more efficient approach for
Bayesian inference about the model parameters. Moreover, the cost of frequently
evaluating an expensive likelihood can be mitigated by replacing the true model
with an offline trained surrogate model, such as neural networks. However, this
approach might generate significant bias when the surrogate is insufficiently
accurate around the posterior modes. To reduce the computational cost without
sacrificing inferential accuracy, we propose Normalizing Flow with Adaptive
Surrogate (NoFAS), an optimization strategy that alternatively updates the
normalizing flow parameters and the weights of a neural network surrogate
model. We also propose an efficient sample weighting scheme for surrogate model
training that ensures some global accuracy of the surrogate while capturing the
likely regions of the parameters that yield the observed data. We demonstrate
the inferential and computational superiority of NoFAS against various
benchmarks, including cases where the underlying model lacks identifiability.
The source code and numerical experiments used for this study are available at
https://github.com/cedricwangyu/NoFAS.
- Abstract（参考訳）: データからの数値モデルパラメータの高速推論は、広範囲のアプリケーションに対して予測モデルを生成するための重要な前提条件である。
マルコフ連鎖モンテカルロのようなサンプリングベースアプローチの使用は、各可能性評価が計算コストが高い場合、難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にのみ成長する計算コストを特徴とし、サンプリングではなく勾配に基づく最適化に依存し、モデルパラメータに関するベイズ推論をより効率的なアプローチを提供する。
さらに、高い確率を頻繁に評価するコストを、ニューラルネットワークのようなオフラインで訓練された代理モデルに置き換えることで軽減することができる。
しかし、この手法は後部モードの周囲のサロゲートの精度が不十分な場合に有意なバイアスを引き起こす可能性がある。
推定精度を犠牲にすることなく計算コストを削減するため,ニューラルネットワークサーロゲートモデルの正規化フローパラメータと重み付けを交互に更新する最適化戦略であるadaptive surrogate(nofas)による正規化フローを提案する。
また,サロゲートモデル学習のための効率的なサンプル重み付け手法を提案する。
基礎となるモデルが識別性に欠ける場合を含む、様々なベンチマークに対するnofasの推論と計算の優位性を示す。
この研究に使用されたソースコードと数値実験は、https://github.com/cedricwangyu/nofasで利用可能である。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Variational Bayesian surrogate modelling with application to robust design optimisation [0.9626666671366836]
サロゲートモデルは複雑な計算モデルに対して素早く評価できる近似を提供する。
入力の不確かさと次元減少を伴う統計的代理を構築するためのベイズ推定について考察する。
コスト関数がモデル出力の平均および標準偏差の重み付け和に依存するような本質的で頑健な構造最適化問題を示す。
論文 参考訳（メタデータ） (2024-04-23T09:22:35Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳（メタデータ） (2023-11-01T12:17:05Z) - Robust leave-one-out cross-validation for high-dimensional Bayesian
models [0.0]
レリーブ・ワン・アウト・クロスバリデーション (LOO-CV) は、アウト・オブ・サンプル予測精度を推定するための一般的な手法である。
そこで本研究では,LOO-CV基準を計算するための新しい混合推定器を提案し,解析する。
提案手法は古典的手法の単純さと計算的利便性を保ちながら, 得られた推定値の有限分散を保証している。
論文 参考訳（メタデータ） (2022-09-19T17:14:52Z) - Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。
理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
論文 参考訳（メタデータ） (2021-08-27T19:03:32Z) - Evaluating State-of-the-Art Classification Models Against Bayes
Optimality [106.50867011164584]
正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。
われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
論文 参考訳（メタデータ） (2021-06-07T06:21:20Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z) - Quantifying the Uncertainty in Model Parameters Using Gaussian
Process-Based Markov Chain Monte Carlo: An Application to Cardiac
Electrophysiological Models [7.8316005711996235]
パーソナライズされたモデリングには,患者固有のモデルパラメータの推定が重要である。
標準マルコフ連鎖モンテカルロサンプリングは、計算不可能な繰り返しモデルシミュレーションを必要とする。
一般的な解決策は、より高速なサンプリングのためにシミュレーションモデルを計算効率の良いサロゲートに置き換えることである。
論文 参考訳（メタデータ） (2020-06-02T23:48:15Z) - SUMO: Unbiased Estimation of Log Marginal Probability for Latent
Variable Models [80.22609163316459]
無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。
推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
論文 参考訳（メタデータ） (2020-04-01T11:49:30Z) - Regularized Autoencoders via Relaxed Injective Probability Flow [35.39933775720789]
非可逆フローベース生成モデルは、抽出可能な確率計算と推論を可能にしながら、サンプルを生成するための効果的な方法である。
本稿では, モデル上の単射性要件を回避し, 単射性のみを仮定する確率フローに基づく生成モデルを提案する。
論文 参考訳（メタデータ） (2020-02-20T18:22:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。