論文の概要: Multi-fidelity Hamiltonian Monte Carlo

• arxiv url: http://arxiv.org/abs/2405.05033v1
• Date: Wed, 8 May 2024 13:03:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 14:24:42.490492
• Title: Multi-fidelity Hamiltonian Monte Carlo
• Title（参考訳）: 多面体ハミルトニアンモンテカルロ
• Authors: Dhruv V. Patel, Jonghyun Lee, Matthew W. Farthing, Peter K. Kitanidis, Eric F. Darve,
• Abstract要約: 代理モデルを用いた2段階ハミルトニアンモンテカルロアルゴリズムを提案する。 受け入れられた確率は、標準のHMC提案によって第一段階で計算される。 提案が受理された場合、後部を高忠実度数値解法を用いて第2段階で評価する。
• 参考スコア（独自算出の注目度）: 1.86413150130483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Numerous applications in biology, statistics, science, and engineering require generating samples from high-dimensional probability distributions. In recent years, the Hamiltonian Monte Carlo (HMC) method has emerged as a state-of-the-art Markov chain Monte Carlo technique, exploiting the shape of such high-dimensional target distributions to efficiently generate samples. Despite its impressive empirical success and increasing popularity, its wide-scale adoption remains limited due to the high computational cost of gradient calculation. Moreover, applying this method is impossible when the gradient of the posterior cannot be computed (for example, with black-box simulators). To overcome these challenges, we propose a novel two-stage Hamiltonian Monte Carlo algorithm with a surrogate model. In this multi-fidelity algorithm, the acceptance probability is computed in the first stage via a standard HMC proposal using an inexpensive differentiable surrogate model, and if the proposal is accepted, the posterior is evaluated in the second stage using the high-fidelity (HF) numerical solver. Splitting the standard HMC algorithm into these two stages allows for approximating the gradient of the posterior efficiently, while producing accurate posterior samples by using HF numerical solvers in the second stage. We demonstrate the effectiveness of this algorithm for a range of problems, including linear and nonlinear Bayesian inverse problems with in-silico data and experimental data. The proposed algorithm is shown to seamlessly integrate with various low-fidelity and HF models, priors, and datasets. Remarkably, our proposed method outperforms the traditional HMC algorithm in both computational and statistical efficiency by several orders of magnitude, all while retaining or improving the accuracy in computed posterior statistics.
• Abstract（参考訳）: 生物学、統計学、科学、工学における多くの応用は、高次元の確率分布からサンプルを生成する必要がある。 近年、ハミルトニアン・モンテカルロ法(HMC)が最先端のマルコフ連鎖モンテカルロ法として登場し、そのような高次元ターゲット分布の形状を利用して試料を効率的に生成している。 その顕著な経験的成功と人気の高さにもかかわらず、勾配計算の計算コストが高いため、広範に採用されることは限られている。 さらに、後部の勾配を計算できない場合(例えばブラックボックスシミュレータの場合)、この手法を適用することは不可能である。 これらの課題を克服するために、サロゲートモデルを用いた2段階のハミルトニアンモンテカルロアルゴリズムを提案する。 この多元性アルゴリズムでは、安価な微分可能なサロゲートモデルを用いて標準HMC提案を用いて第1段階の受理確率を計算し、提案が受け入れられれば、高忠実度(HF)数値解法を用いて第2段階の受理確率を評価する。 標準HMCアルゴリズムをこれらの2段階に分割することで、後続の勾配を効率よく近似し、第2段階のHF数値解法を用いて正確な後続サンプルを生成することができる。 本研究では, 非線形ベイズ逆問題や非線形ベイズ逆問題など, 様々な問題に対する本アルゴリズムの有効性を実証する。 提案アルゴリズムは, 様々な低忠実度モデルとHFモデル, 先行モデル, データセットとシームレスに統合可能である。 提案手法は,計算後統計の精度を維持・改善しつつ,計算効率と統計効率の両面において,従来のHMCアルゴリズムよりも優れていた。

関連論文リスト

• A sparse PAC-Bayesian approach for high-dimensional quantile prediction [0.0]
  本稿では,高次元量子化予測のための確率論的機械学習手法を提案する。 擬似ベイズ的フレームワークとスケールした学生tとランゲヴィン・モンテカルロを併用して効率的な計算を行う。 その効果はシミュレーションや実世界のデータを通じて検証され、そこでは確立された頻繁な手法やベイズ的手法と競合する。
  論文  参考訳（メタデータ） (2024-09-03T08:01:01Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
  不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。 特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
  論文  参考訳（メタデータ） (2023-02-13T19:57:17Z)
• Gaussian process regression and conditional Karhunen-Lo\'{e}ve models for data assimilation in inverse problems [68.8204255655161]
  偏微分方程式モデルにおけるデータ同化とパラメータ推定のためのモデル逆アルゴリズムCKLEMAPを提案する。 CKLEMAP法は標準的なMAP法に比べてスケーラビリティがよい。
  論文  参考訳（メタデータ） (2023-01-26T18:14:12Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• RMFGP: Rotated Multi-fidelity Gaussian process with Dimension Reduction for High-dimensional Uncertainty Quantification [12.826754199680474]
  マルチフィデリティモデリングは、少量の正確なデータしか入手できない場合でも、正確な推測を可能にする。 高忠実度モデルと1つ以上の低忠実度モデルを組み合わせることで、多忠実度法は興味のある量の正確な予測を行うことができる。 本稿では,回転多要素ガウス過程の回帰に基づく新しい次元削減フレームワークとベイズ能動学習手法を提案する。
  論文  参考訳（メタデータ） (2022-04-11T01:20:35Z)
• Manifold learning-based polynomial chaos expansions for high-dimensional surrogate models [0.0]
  システム記述における不確実性定量化(UQ)のための多様体学習に基づく手法を提案する。 提案手法は高精度な近似を達成でき、UQタスクの大幅な高速化につながる。
  論文  参考訳（メタデータ） (2021-07-21T00:24:15Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。