論文の概要: An adaptive Hessian approximated stochastic gradient MCMC method
- arxiv url: http://arxiv.org/abs/2010.01384v1
- Date: Sat, 3 Oct 2020 16:22:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 11:45:37.314832
- Title: An adaptive Hessian approximated stochastic gradient MCMC method
- Title（参考訳）: 適応型ヘッセン近似確率勾配MCMC法
- Authors: Yating Wang, Wei Deng, Guang Lin
- Abstract要約: 後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。
我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
- 参考スコア（独自算出の注目度）: 12.93317525451798
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian approaches have been successfully integrated into training deep
neural networks. One popular family is stochastic gradient Markov chain Monte
Carlo methods (SG-MCMC), which have gained increasing interest due to their
scalability to handle large datasets and the ability to avoid overfitting.
Although standard SG-MCMC methods have shown great performance in a variety of
problems, they may be inefficient when the random variables in the target
posterior densities have scale differences or are highly correlated. In this
work, we present an adaptive Hessian approximated stochastic gradient MCMC
method to incorporate local geometric information while sampling from the
posterior. The idea is to apply stochastic approximation to sequentially update
a preconditioning matrix at each iteration. The preconditioner possesses
second-order information and can guide the random walk of a sampler
efficiently. Instead of computing and saving the full Hessian of the log
posterior, we use limited memory of the sample and their stochastic gradients
to approximate the inverse Hessian-vector multiplication in the updating
formula. Moreover, by smoothly optimizing the preconditioning matrix, our
proposed algorithm can asymptotically converge to the target distribution with
a controllable bias under mild conditions. To reduce the training and testing
computational burden, we adopt a magnitude-based weight pruning method to
enforce the sparsity of the network. Our method is user-friendly and is
scalable to standard SG-MCMC updating rules by implementing an additional
preconditioner. The sparse approximation of inverse Hessian alleviates storage
and computational complexities for large dimensional models. The bias
introduced by stochastic approximation is controllable and can be analyzed
theoretically. Numerical experiments are performed on several problems.
- Abstract（参考訳）: ベイズアプローチはディープニューラルネットワークのトレーニングにうまく統合されている。
1つの一般的なファミリーは確率勾配連鎖モンテカルロ法(SG-MCMC)であり、大きなデータセットを扱うスケーラビリティと過度な適合を避ける能力によって関心が高まりつつある。
標準SG-MCMC法は様々な問題において優れた性能を示したが、対象の後方密度のランダム変数がスケール差がある場合や高い相関性がある場合、非効率である可能性がある。
本研究では,後方からのサンプリング中に局所幾何学情報を組み込む適応型ヘッセン近似確率勾配MCMC法を提案する。
この考え方は確率近似を適用し、各イテレーションで事前条件行列を逐次更新する。
プリコンディショナは、二階情報を有し、サンプリング者のランダムウォークを効率的に導くことができる。
検体後部のHessianを計算・保存する代わりに、サンプルの限られたメモリとその確率勾配を用いて、更新式における逆 Hessian-vector乗法を近似する。
さらに,プレコンディショニング行列をスムーズに最適化することにより,制御可能なバイアスで目標分布に漸近的に収束させることができる。
計算負荷のトレーニングとテストを減らすため,ネットワークのスパース性を強化するために,マグニチュードベースの重みの刈り取り手法を適用した。
本手法はユーザフレンドリで,プリコンディショナの追加による標準SG-MCMC更新ルールにスケーラブルである。
逆ヘッセンのスパース近似は、大次元モデルの記憶と計算複雑性を緩和する。
確率近似によって生じるバイアスは制御可能であり、理論的に解析することができる。
数値実験はいくつかの問題で行われている。
関連論文リスト
- Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳（メタデータ） (2023-06-05T21:08:34Z) - Preferential Subsampling for Stochastic Gradient Langevin Dynamics [3.158346511479111]
勾配MCMCは、データの小さな一様重み付きサブサンプルを持つ対数姿勢の勾配をバイアスなく見積もっている。
得られた勾配推定器は、高いばらつきおよび衝撃サンプリング性能を示すことができる。
このような手法は,使用中の平均サブサンプルサイズを大幅に削減しつつ,同じレベルの精度を維持することができることを示す。
論文 参考訳（メタデータ） (2022-10-28T14:56:18Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - Structured Stochastic Gradient MCMC [20.68905354115655]
近似した後方関数形式を仮定しない新しい非パラメトリック変分近似を提案する。
完全なSGMCMCよりも優れた予測可能性と有効試料サイズが得られる。
論文 参考訳（メタデータ） (2021-07-19T17:18:10Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z) - Stochastic Gradient Langevin Dynamics Algorithms with Adaptive Drifts [8.36840154574354]
そこで我々は, ドリフト関数を偏り, サドル点からの脱出を促進させ, バイアスを過去のサンプルの勾配に応じて適応的に調整する, 適応的勾配勾配連鎖モンテカルロ(SGMCMC)アルゴリズムを提案する。
本稿では,提案アルゴリズムが既存のSGMCMCアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-09-20T22:03:39Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳（メタデータ） (2020-07-02T16:02:02Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳（メタデータ） (2020-06-29T20:57:20Z) - Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via
Non-uniform Subsampling of Gradients [54.90670513852325]
サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。
EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。
EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
論文 参考訳（メタデータ） (2020-02-20T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。