Fugu-MT 論文翻訳(概要): AdamMCMC: Combining Metropolis Adjusted Langevin with Momentum-based Optimization

論文の概要: AdamMCMC: Combining Metropolis Adjusted Langevin with Momentum-based Optimization

arxiv url: http://arxiv.org/abs/2312.14027v1
Date: Thu, 21 Dec 2023 16:58:49 GMT
ステータス: 処理完了
システム内更新日: 2023-12-22 14:09:02.659016
Title: AdamMCMC: Combining Metropolis Adjusted Langevin with Momentum-based Optimization
Title（参考訳）: AdamMCMC:Metropolis Adjusted LangevinとMomentumベースの最適化を組み合わせる
Authors: Sebastian Bieringer, Gregor Kasieczka, Maximilian F. Steffen, Mathias Trabs
Abstract要約: 本稿では,モンテカルロ法を用いて後部分布から不確かさを定量化するアルゴリズムを提案する。構築された鎖は、ギブス後方を不変分布として認め、全変動距離においてこのギブス後方に収束することを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Uncertainty estimation is a key issue when considering the application of deep neural network methods in science and engineering. In this work, we introduce a novel algorithm that quantifies epistemic uncertainty via Monte Carlo sampling from a tempered posterior distribution. It combines the well established Metropolis Adjusted Langevin Algorithm (MALA) with momentum-based optimization using Adam and leverages a prolate proposal distribution, to efficiently draw from the posterior. We prove that the constructed chain admits the Gibbs posterior as an invariant distribution and converges to this Gibbs posterior in total variation distance. Numerical evaluations are postponed to a first revision.
Abstract（参考訳）: 科学と工学におけるディープニューラルネットワーク手法の適用を考える場合、不確実性推定は重要な問題である。そこで本研究では,温和な後方分布からモンテカルロサンプリングを行い,認識の不確かさを定量化する新しいアルゴリズムを提案する。確立されたメトロポリス調整ランゲヴィンアルゴリズム(MALA)とアダムを用いたモーメントに基づく最適化を組み合わせることで、後部から効率的に引き出すことができる。構築された鎖がgibbs後縁を不変分布として認め、このgibbs後縁に総変動距離で収束することを示す。数値評価は最初の改訂まで延期される。

関連論文リスト

Improving sample efficiency of high dimensional Bayesian optimization with MCMC [7.241485121318798]
本稿ではマルコフ・チェイン・モンテカルロに基づく新しい手法を提案する。提案アルゴリズムのMetropolis-HastingsとLangevin Dynamicsの両バージョンは、高次元逐次最適化および強化学習ベンチマークにおいて最先端の手法より優れていることを示す。
論文参考訳（メタデータ） (2024-01-05T05:56:42Z)
Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文参考訳（メタデータ） (2023-12-02T13:01:29Z)
Proximal Algorithms for Accelerated Langevin Dynamics [57.08271964961975]
我々は,確率化Nesterovスキームに基づくMCMCアルゴリズムの新たなクラスを開発する。統計処理と画像処理の異なるモデルに対して,Langevinサンプルよりも提案手法の優れた性能を示す。
論文参考訳（メタデータ） (2023-11-24T19:56:01Z)
Maximum Weight Entropy [6.821961232645206]
本稿では,ベイジアン法とアンサンブル法を用いて,ディープラーニングにおける不確実な定量化と分布外検出を扱う。ニューラルネットワークを考えると、平均的な経験的リスクと重量分布エントロピーの間のトレードオフとして定義されたそのような分布を構築するために、実用的な最適化が導出される。
論文参考訳（メタデータ） (2023-09-27T14:46:10Z)
Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文参考訳（メタデータ） (2023-08-28T23:51:33Z)
Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文参考訳（メタデータ） (2022-11-30T18:59:27Z)
On the optimization and pruning for Bayesian deep learning [1.0152838128195467]
重み空間上でニューラルネットワークを学習するための適応型変分ベイズアルゴリズムを提案する。 EM-MCMCアルゴリズムにより,ワンショットで最適化とモデルプルーニングを行うことができる。我々の密度モデルは最先端の性能に到達でき、スパースモデルは以前提案したプルーニング方式と比較して非常によく機能する。
論文参考訳（メタデータ） (2022-10-24T05:18:08Z)
The split Gibbs sampler revisited: improvements to its algorithmic structure and augmented target distribution [1.1279808969568252]
現在の最先端の手法は、後部密度を滑らかな近似で置き換えることによってこれらの問題に対処することが多い。別のアプローチはデータ拡張と緩和に基づいており、補助変数を導入して近似的な拡張後分布を構築する。本稿では,2つの戦略の利点を密結合した潜在空間SK-ROCKと呼ばれる,新しい加速近位MCMC法を提案する。
論文参考訳（メタデータ） (2022-06-28T11:21:41Z)
Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
論文参考訳（メタデータ） (2022-06-22T17:58:23Z)
What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文参考訳（メタデータ） (2021-04-29T15:38:46Z)
Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文参考訳（メタデータ） (2021-02-04T02:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。