論文の概要: Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via
Non-uniform Subsampling of Gradients
- arxiv url: http://arxiv.org/abs/2002.08949v3
- Date: Wed, 22 Sep 2021 22:49:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 06:58:49.729352
- Title: Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via
Non-uniform Subsampling of Gradients
- Title（参考訳）: 勾配の非一様部分サンプリングによる確率勾配MCMC法のサンプリング精度の向上
- Authors: Ruilin Li, Xin Wang, Hongyuan Zha and Molei Tao
- Abstract要約: サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。
EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。
EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
- 参考スコア（独自算出の注目度）: 54.90670513852325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many Markov Chain Monte Carlo (MCMC) methods leverage gradient information of
the potential function of target distribution to explore sample space
efficiently. However, computing gradients can often be computationally
expensive for large scale applications, such as those in contemporary machine
learning. Stochastic Gradient (SG-)MCMC methods approximate gradients by
stochastic ones, commonly via uniformly subsampled data points, and achieve
improved computational efficiency, however at the price of introducing sampling
error. We propose a non-uniform subsampling scheme to improve the sampling
accuracy. The proposed exponentially weighted stochastic gradient (EWSG) is
designed so that a non-uniform-SG-MCMC method mimics the statistical behavior
of a batch-gradient-MCMC method, and hence the inaccuracy due to SG
approximation is reduced. EWSG differs from classical variance reduction (VR)
techniques as it focuses on the entire distribution instead of just the
variance; nevertheless, its reduced local variance is also proved. EWSG can
also be viewed as an extension of the importance sampling idea, successful for
stochastic-gradient-based optimizations, to sampling tasks. In our practical
implementation of EWSG, the non-uniform subsampling is performed efficiently
via a Metropolis-Hastings chain on the data index, which is coupled to the MCMC
algorithm. Numerical experiments are provided, not only to demonstrate EWSG's
effectiveness, but also to guide hyperparameter choices, and validate our
\emph{non-asymptotic global error bound} despite of approximations in the
implementation. Notably, while statistical accuracy is improved, convergence
speed can be comparable to the uniform version, which renders EWSG a practical
alternative to VR (but EWSG and VR can be combined too).
- Abstract（参考訳）: 多くのマルコフ連鎖モンテカルロ法(MCMC)は、ターゲット分布のポテンシャル関数の勾配情報を利用して試料空間を効率的に探索する。
しかし、コンピューティング勾配は、現代の機械学習のような大規模アプリケーションでは計算コストがかかることが多い。
Stochastic Gradient (SG-)MCMCは、一様にサンプリングされたデータポイントを通した確率的勾配を近似し、サンプリングエラーを導入するコストで計算効率を向上させる。
サンプリング精度を向上させるために,非一様部分サンプリング方式を提案する。
提案した指数重み付き確率勾配(EWSG)は、非一様SG-MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計され、したがってSG近似による不正確性が低減される。
EWSGは、分散だけでなく、分布全体に焦点を当てた古典的分散還元(VR)技術とは異なるが、しかしながら、局所的な分散の減少も証明されている。
EWSGはまた、タスクをサンプリングするために確率的漸進的な最適化に成功した重要サンプリングアイデアの拡張と見なすこともできる。
EWSGの実践的な実装では、MCMCアルゴリズムに結合したデータインデックス上のメトロポリス・ハスティングチェーンを介して、非一様サブサンプリングを効率的に行う。
EWSGの有効性を実証するだけでなく、ハイパーパラメータの選択をガイドし、実装の近似にもかかわらず、我々の 'emph{non-asymptotic global error bound' を検証するための数値実験も提供される。
統計精度は向上しているが、収束速度は均一版に匹敵するので、EWSGはVRの代替となる(ただしEWSGとVRも組み合わせることができる)。
関連論文リスト
- Robust Approximate Sampling via Stochastic Gradient Barker Dynamics [0.0]
本稿では,Langevin に基づくサンプリングアルゴリズムの頑健な代替である Barker gradient dynamics (SGBD) アルゴリズムを勾配フレームワークに導入する。
本稿では,バーカー遷移機構に対する勾配の影響を特徴付けるとともに,勾配雑音による誤差を除去するバイアス補正版を開発する。
論文 参考訳（メタデータ） (2024-05-14T23:47:02Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - Preferential Subsampling for Stochastic Gradient Langevin Dynamics [3.158346511479111]
勾配MCMCは、データの小さな一様重み付きサブサンプルを持つ対数姿勢の勾配をバイアスなく見積もっている。
得られた勾配推定器は、高いばらつきおよび衝撃サンプリング性能を示すことができる。
このような手法は,使用中の平均サブサンプルサイズを大幅に削減しつつ,同じレベルの精度を維持することができることを示す。
論文 参考訳（メタデータ） (2022-10-28T14:56:18Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳（メタデータ） (2021-06-10T18:17:57Z) - An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。
我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
論文 参考訳（メタデータ） (2020-10-03T16:22:15Z) - Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。
実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
論文 参考訳（メタデータ） (2020-08-12T15:02:59Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳（メタデータ） (2020-06-29T20:57:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。