論文の概要: Accelerating Multilevel Markov Chain Monte Carlo Using Machine Learning Models
- arxiv url: http://arxiv.org/abs/2405.11179v1
- Date: Sat, 18 May 2024 05:13:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 19:07:29.603435
- Title: Accelerating Multilevel Markov Chain Monte Carlo Using Machine Learning Models
- Title（参考訳）: 機械学習モデルを用いたマルチレベルマルコフ連鎖モンテカルロの高速化
- Authors: Sohail Reddy, Hillary Fairbanks,
- Abstract要約: 大規模問題に対するマルチレベルマルコフ・チェイン・モンテカルロ(MCMC)サンプリングを高速化するための効率的な手法を提案する。
提案したサンプルの低コストな評価には,低忠実度機械学習モデルを用いる。
本手法は地下水流の標準ベンチマーク推論問題において実証された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work presents an efficient approach for accelerating multilevel Markov Chain Monte Carlo (MCMC) sampling for large-scale problems using low-fidelity machine learning models. While conventional techniques for large-scale Bayesian inference often substitute computationally expensive high-fidelity models with machine learning models, thereby introducing approximation errors, our approach offers a computationally efficient alternative by augmenting high-fidelity models with low-fidelity ones within a hierarchical framework. The multilevel approach utilizes the low-fidelity machine learning model (MLM) for inexpensive evaluation of proposed samples thereby improving the acceptance of samples by the high-fidelity model. The hierarchy in our multilevel algorithm is derived from geometric multigrid hierarchy. We utilize an MLM to acclerate the coarse level sampling. Training machine learning model for the coarsest level significantly reduces the computational cost associated with generating training data and training the model. We present an MCMC algorithm to accelerate the coarsest level sampling using MLM and account for the approximation error introduced. We provide theoretical proofs of detailed balance and demonstrate that our multilevel approach constitutes a consistent MCMC algorithm. Additionally, we derive conditions on the accuracy of the machine learning model to facilitate more efficient hierarchical sampling. Our technique is demonstrated on a standard benchmark inference problem in groundwater flow, where we estimate the probability density of a quantity of interest using a four-level MCMC algorithm. Our proposed algorithm accelerates multilevel sampling by a factor of two while achieving similar accuracy compared to sampling using the standard multilevel algorithm.
- Abstract（参考訳）: 本研究は,マルチレベルマルコフ・チェイン・モンテカルロ(MCMC)サンプリングを低忠実度機械学習モデルを用いて高速化する効率的な手法を提案する。
大規模ベイズ推論の従来の手法は、しばしば計算に高価な高忠実度モデルを機械学習モデルに置き換え、近似誤差を導入するが、本手法は階層的な枠組みの中で低忠実度モデルで高忠実度モデルを増大させることにより、計算的に効率的な代替手段を提供する。
マルチレベルアプローチでは、低忠実度機械学習モデル(MLM)を用いて、提案したサンプルを安価に評価することにより、高忠実度モデルによるサンプルの受け入れを改善する。
多レベルアルゴリズムの階層構造は幾何学的多重グリッド階層から導かれる。
我々は,MLMを用いて粗度サンプリングを高速化する。
粗いレベルの機械学習モデルのトレーニングは、トレーニングデータの生成とモデルのトレーニングに関連する計算コストを著しく削減する。
MLMを用いた粗いレベルサンプリングを高速化するMCMCアルゴリズムを提案し,近似誤差を考慮に入れた。
詳細なバランスの理論的証明を提供し、我々のマルチレベルアプローチが一貫したMCMCアルゴリズムを構成することを示す。
さらに,より効率的な階層的サンプリングを容易にするために,機械学習モデルの精度に関する条件を導出する。
本手法は, 地下水流における標準ベンチマーク推定問題において, 4レベルMCMCアルゴリズムを用いて, 関心量の確率密度を推定する手法である。
提案アルゴリズムは,標準のマルチレベルアルゴリズムを用いたサンプリングと比較して,2倍の精度でマルチレベルサンプリングを高速化する。
関連論文リスト
- Hybrid Heuristic Algorithms for Adiabatic Quantum Machine Learning Models [2.7407913606612615]
本稿では,大規模QUBOの解法を改良し,計算時間を短縮するために,r-flip戦略を組み込んだハイブリッドシステムを提案する。
r-flip戦略埋め込みアルゴリズムは、60秒から600秒のCPU時間制限内で非常に高品質なソリューションを提供する。
論文 参考訳（メタデータ） (2024-07-26T19:31:58Z) - Multi-fidelity Hamiltonian Monte Carlo [1.86413150130483]
代理モデルを用いた2段階ハミルトニアンモンテカルロアルゴリズムを提案する。
受け入れられた確率は、標準のHMC提案によって第一段階で計算される。
提案が受理された場合、後部を高忠実度数値解法を用いて第2段階で評価する。
論文 参考訳（メタデータ） (2024-05-08T13:03:55Z) - Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning [50.92957910121088]
本研究は,情報指向サンプリング(IDS)の原理に基づくマルチエージェント強化学習(MARL)のための新しいアルゴリズムの設計と解析を行う。
エピソディックな2プレーヤゼロサムMGに対して、ナッシュ平衡を学習するための3つのサンプル効率アルゴリズムを提案する。
我々は、Reg-MAIDSをマルチプレイヤー汎用MGに拡張し、ナッシュ平衡または粗相関平衡をサンプル効率良く学習できることを証明する。
論文 参考訳（メタデータ） (2024-04-30T06:48:56Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Multi-fidelity Monte Carlo: a pseudo-marginal approach [21.05263506153674]
モンテカルロを科学分野に適用する上で重要な課題は計算である。
多忠実MCMCアルゴリズムは、近似目標密度を得るために、様々な忠実度のモデルを組み合わせる。
我々は、より安価でランダムな非バイアス推定器を用いたマルチフィデリティ推定のための疑似マージ型MCMCアプローチを採用する。
論文 参考訳（メタデータ） (2022-10-04T11:27:40Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳（メタデータ） (2022-08-26T04:28:01Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-03-09T17:26:53Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - MCMC-driven importance samplers [0.0]
我々は適応的重要度サンプリングのクラスであるLAISに着目し、モンテカルロアルゴリズムが基礎となる多重重要度サンプリングスキームを駆動する。
LAISのモジュラー性は、異なるパフォーマンスと計算コストを持つ上層と下層の異なる選択を可能にします。
現実世界のアプリケーションで発生する計算課題に対処するためには、異なる変種が不可欠である。
論文 参考訳（メタデータ） (2021-05-06T10:59:02Z) - Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。
実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
論文 参考訳（メタデータ） (2020-08-12T15:02:59Z) - Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。
アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。
ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
論文 参考訳（メタデータ） (2020-02-20T10:50:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。