論文の概要: AdamMCMC: Combining Metropolis Adjusted Langevin with Momentum-based
Optimization
- arxiv url: http://arxiv.org/abs/2312.14027v1
- Date: Thu, 21 Dec 2023 16:58:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 14:09:02.659016
- Title: AdamMCMC: Combining Metropolis Adjusted Langevin with Momentum-based
Optimization
- Title(参考訳): AdamMCMC:Metropolis Adjusted LangevinとMomentumベースの最適化を組み合わせる
- Authors: Sebastian Bieringer, Gregor Kasieczka, Maximilian F. Steffen, Mathias
Trabs
- Abstract要約: 本稿では,モンテカルロ法を用いて後部分布から不確かさを定量化するアルゴリズムを提案する。
構築された鎖は、ギブス後方を不変分布として認め、全変動距離においてこのギブス後方に収束することを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty estimation is a key issue when considering the application of
deep neural network methods in science and engineering. In this work, we
introduce a novel algorithm that quantifies epistemic uncertainty via Monte
Carlo sampling from a tempered posterior distribution. It combines the well
established Metropolis Adjusted Langevin Algorithm (MALA) with momentum-based
optimization using Adam and leverages a prolate proposal distribution, to
efficiently draw from the posterior. We prove that the constructed chain admits
the Gibbs posterior as an invariant distribution and converges to this Gibbs
posterior in total variation distance. Numerical evaluations are postponed to a
first revision.
- Abstract(参考訳): 科学と工学におけるディープニューラルネットワーク手法の適用を考える場合、不確実性推定は重要な問題である。
そこで本研究では,温和な後方分布からモンテカルロサンプリングを行い,認識の不確かさを定量化する新しいアルゴリズムを提案する。
確立されたメトロポリス調整ランゲヴィンアルゴリズム(MALA)とアダムを用いたモーメントに基づく最適化を組み合わせることで、後部から効率的に引き出すことができる。
構築された鎖がgibbs後縁を不変分布として認め、このgibbs後縁に総変動距離で収束することを示す。
数値評価は最初の改訂まで延期される。
関連論文リスト
- Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳(メタデータ) (2023-12-02T13:01:29Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳(メタデータ) (2023-08-28T23:51:33Z) - When does Metropolized Hamiltonian Monte Carlo provably outperform
Metropolis-adjusted Langevin algorithm? [4.657614491309671]
本研究では, 磁化ハミルトン・モンテカルロ (HMC) と跳躍フロッグ積分器の混合時間について解析した。
連続HMC力学の離散化における位置と速度変数の結合分布は, ほぼ不変であることを示す。
論文 参考訳(メタデータ) (2023-04-10T17:35:57Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳(メタデータ) (2022-11-30T18:59:27Z) - Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。
提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
論文 参考訳(メタデータ) (2022-06-22T17:58:23Z) - Posterior Refinement Improves Sample Efficiency in Bayesian Neural
Networks [27.11052209129402]
実験により、MC近似予測分布の鍵は、近似後部自体の品質であることが示された。
得られた後続近似は、ゴールド標準のフルバッチハミルトニアンモンテカルロでさえ競合することを示した。
論文 参考訳(メタデータ) (2022-05-20T09:24:39Z) - A PAC-Bayes oracle inequality for sparse neural networks [0.0]
非パラメトリック回帰条件下で, スパースディープニューラルネットのギブス後部分布について検討した。
この方法が回帰関数の未知の正則性と階層構造に適応することを示すオラクルの不等式を証明する。
論文 参考訳(メタデータ) (2022-04-26T15:48:24Z) - Instance-Optimal Compressed Sensing via Posterior Sampling [101.43899352984774]
後部サンプリング推定器がほぼ最適回復保証を達成できることを示す。
本稿では,Langevin dynamics を用いた深部生成前駆体の後方サンプリング推定器を実装し,MAP よりも精度の高い推定値が得られることを実証的に見出した。
論文 参考訳(メタデータ) (2021-06-21T22:51:56Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳(メタデータ) (2021-04-29T15:38:46Z) - Optimal dimension dependence of the Metropolis-Adjusted Langevin
Algorithm [22.19906823739798]
ログスムースと強くログ凹分布のクラス上のMALAの混合時間は$O(d)$です。
メトロポリタン調整の投影特性に基づく新しい技術は、ランゲビンSDEのよく研究された離散分析にMALAの研究を減少させる。
論文 参考訳(メタデータ) (2020-12-23T17:14:06Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳(メタデータ) (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。