論文の概要: Newtonian Monte Carlo: single-site MCMC meets second-order gradient
methods
- arxiv url: http://arxiv.org/abs/2001.05567v1
- Date: Wed, 15 Jan 2020 21:40:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 05:56:31.682333
- Title: Newtonian Monte Carlo: single-site MCMC meets second-order gradient
methods
- Title（参考訳）: ニュートンモンテカルロ:2次勾配法を満たした単一サイトmcmc
- Authors: Nimar S. Arora, Nazanin Khosravani Tehrani, Kinjal Divesh Shah,
Michael Tingley, Yucen Lily Li, Narjes Torabi, David Noursi, Sepehr Akhavan
Masouleh, Eric Lippert, Erik Meijer
- Abstract要約: MCMC (Single-site Markov Chain Monte Carlo) はMCMCの変種であり、状態空間内の1つの座標が各ステップで修正される。
ニュートンモンテカルロ(Newtonian Monte Carlo, NMC)は、ターゲット密度の第1次および第2次勾配を解析してMCMC収束を改善する手法である。
NMCは、各次元のステップサイズを自動的にスケールするために2階勾配を使用する最適化においてニュートン・ラフソン更新と似ている。
- 参考スコア（独自算出の注目度）: 1.6042895233470602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single-site Markov Chain Monte Carlo (MCMC) is a variant of MCMC in which a
single coordinate in the state space is modified in each step. Structured
relational models are a good candidate for this style of inference. In the
single-site context, second order methods become feasible because the typical
cubic costs associated with these methods is now restricted to the dimension of
each coordinate. Our work, which we call Newtonian Monte Carlo (NMC), is a
method to improve MCMC convergence by analyzing the first and second order
gradients of the target density to determine a suitable proposal density at
each point. Existing first order gradient-based methods suffer from the problem
of determining an appropriate step size. Too small a step size and it will take
a large number of steps to converge, while a very large step size will cause it
to overshoot the high density region. NMC is similar to the Newton-Raphson
update in optimization where the second order gradient is used to automatically
scale the step size in each dimension. However, our objective is to find a
parameterized proposal density rather than the maxima.
As a further improvement on existing first and second order methods, we show
that random variables with constrained supports don't need to be transformed
before taking a gradient step. We demonstrate the efficiency of NMC on a number
of different domains. For statistical models where the prior is conjugate to
the likelihood, our method recovers the posterior quite trivially in one step.
However, we also show results on fairly large non-conjugate models, where NMC
performs better than adaptive first order methods such as NUTS or other inexact
scalable inference methods such as Stochastic Variational Inference or
bootstrapping.
- Abstract（参考訳）: MCMC (Single-site Markov Chain Monte Carlo) はMCMCの変種であり、状態空間内の1つの座標が各ステップで修正される。
構造化リレーショナルモデルは、このスタイルの推論のよい候補である。
単一場所では、これらの手法に関連する典型的な立方体コストが各座標の次元に制限されるため、2次法が実現可能である。
我々の研究はNewtonian Monte Carlo (NMC)と呼ばれ、目標密度の第1次および第2次勾配を分析してMCMC収束を改善する方法であり、各点で適切な提案密度を決定する。
既存の1次勾配に基づく手法は、適切なステップサイズを決定する問題に苦しむ。
ステップサイズが小さすぎると、収束するには多くのステップが必要になりますが、非常に大きなステップサイズは高密度領域をオーバーシュートさせます。
NMCは、各次元のステップサイズを自動的にスケールするために2階勾配を使用する最適化におけるニュートン・ラフソン更新に似ている。
しかし,本研究の目的は,最大値よりもパラメータ化された提案密度を求めることである。
既存の第1次および第2次手法のさらなる改善として、制約付きサポートを持つランダム変数は、勾配を踏む前に変換する必要がないことを示す。
我々は, NMC の様々な領域における効率を実証する。
前者の確率に共役する統計モデルの場合、この手法は1ステップで後方をかなり自明に復元する。
しかし,比較的大規模な非共役モデルでは,NUTSなどの適応的一階法や,確率的変動推論やブートストラップといった不正確な拡張性推論手法よりも優れた性能を示す。
関連論文リスト
- AutoStep: Locally adaptive involutive MCMC [51.186543293659376]
AutoStep MCMCは、ターゲット分布の局所幾何学に適合したイテレーション毎に適切なステップサイズを選択する。
本稿では,AutoStep MCMCが,単位コスト当たりの有効サンプルサイズの観点から,最先端の手法と競合することを示す。
論文 参考訳（メタデータ） (2024-10-24T17:17:11Z) - Gaussian process regression and conditional Karhunen-Lo\'{e}ve models
for data assimilation in inverse problems [68.8204255655161]
偏微分方程式モデルにおけるデータ同化とパラメータ推定のためのモデル逆アルゴリズムCKLEMAPを提案する。
CKLEMAP法は標準的なMAP法に比べてスケーラビリティがよい。
論文 参考訳（メタデータ） (2023-01-26T18:14:12Z) - Neural network quantum state with proximal optimization: a ground-state
searching scheme based on variational Monte Carlo [4.772126473623257]
提案手法では, ミスマッチしたサンプルを再利用することで, 複数の更新を可能とした, 近位最適化(PO)を用いた新しい目的関数を提案する。
正方格子上の1次元横フィールドイジングモデルと2次元ハイゼンベルク反強磁性体を用いた基底状態探索のためのVMC-POアルゴリズムの性能について検討する。
論文 参考訳（メタデータ） (2022-10-29T04:55:39Z) - Super-model ecosystem: A domain-adaptation perspective [101.76769818069072]
本稿では,ドメイン適応による新たなスーパーモデルパラダイムの理論的基礎を確立することを試みる。
スーパーモデルパラダイムは、計算とデータコストと二酸化炭素排出量を減らすのに役立つ。
論文 参考訳（メタデータ） (2022-08-30T09:09:43Z) - DRSOM: A Dimension Reduced Second-Order Method [13.778619250890406]
信頼的な枠組みの下では,2次法の収束を保ちながら,数方向の情報のみを用いる。
理論的には,この手法は局所収束率と大域収束率が$O(epsilon-3/2)$であり,第1次条件と第2次条件を満たすことを示す。
論文 参考訳（メタデータ） (2022-07-30T13:05:01Z) - The split Gibbs sampler revisited: improvements to its algorithmic
structure and augmented target distribution [1.1279808969568252]
現在の最先端の手法は、後部密度を滑らかな近似で置き換えることによってこれらの問題に対処することが多い。
別のアプローチはデータ拡張と緩和に基づいており、補助変数を導入して近似的な拡張後分布を構築する。
本稿では,2つの戦略の利点を密結合した潜在空間SK-ROCKと呼ばれる,新しい加速近位MCMC法を提案する。
論文 参考訳（メタデータ） (2022-06-28T11:21:41Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。
我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
論文 参考訳（メタデータ） (2020-10-03T16:22:15Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳（メタデータ） (2020-07-02T16:02:02Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - Adaptive Gradient Methods Converge Faster with Over-Parameterization
(but you should do a line-search) [32.24244211281863]
データを補間するのに十分なパラメータ化モデルを用いて、スムーズで凸的な損失を簡易に設定する。
一定のステップサイズと運動量を持つ AMSGrad がより高速な$O(1/T)$レートで最小値に収束することを証明する。
これらの手法により,タスク間の適応勾配法の収束と一般化が向上することを示す。
論文 参考訳（メタデータ） (2020-06-11T21:23:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。