論文の概要: Asymptotically Optimal Exact Minibatch Metropolis-Hastings
- arxiv url: http://arxiv.org/abs/2006.11677v3
- Date: Thu, 22 Oct 2020 18:28:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 22:20:10.588881
- Title: Asymptotically Optimal Exact Minibatch Metropolis-Hastings
- Title(参考訳): Asymptotically Optimal Exact Minibatch Metropolis-Hastings
- Authors: Ruqi Zhang and A. Feder Cooper and Christopher De Sa
- Abstract要約: サブサンプルを用いてスケーリングを実現するミニバッチMH法について検討する。
本稿では,そのバッチサイズと理論的に保証された収束率との間の調整可能なトレードオフを露呈する,新しい最小バッチMH手法TunaMHを提案する。
TunaMHは、ロバストな線形回帰、トランケートされたガウス混合、ロジスティック回帰において、他の正確なミニバッチMH法より優れていることを示す。
- 参考スコア(独自算出の注目度): 37.768023232677244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Metropolis-Hastings (MH) is a commonly-used MCMC algorithm, but it can be
intractable on large datasets due to requiring computations over the whole
dataset. In this paper, we study minibatch MH methods, which instead use
subsamples to enable scaling. We observe that most existing minibatch MH
methods are inexact (i.e. they may change the target distribution), and show
that this inexactness can cause arbitrarily large errors in inference. We
propose a new exact minibatch MH method, TunaMH, which exposes a tunable
trade-off between its batch size and its theoretically guaranteed convergence
rate. We prove a lower bound on the batch size that any minibatch MH method
must use to retain exactness while guaranteeing fast convergence-the first such
bound for minibatch MH-and show TunaMH is asymptotically optimal in terms of
the batch size. Empirically, we show TunaMH outperforms other exact minibatch
MH methods on robust linear regression, truncated Gaussian mixtures, and
logistic regression.
- Abstract(参考訳): metropolis-hastings (mh) はよく使われるmcmcアルゴリズムであるが、データセット全体の計算を必要とするため、大規模なデータセットでは難解である。
本稿では,サブサンプルを用いてスケーリングを実現するミニバッチMH法について検討する。
既存の minibatch mh メソッドは、ほとんどが不正確である(つまり、ターゲット分布を変更する可能性がある)ことを観察し、この不正確性が推論において任意に大きなエラーを引き起こす可能性があることを示した。
本稿では,そのバッチサイズと理論的に保証された収束率との間の調整可能なトレードオフを露呈する,新しい最小バッチMH手法TunaMHを提案する。
我々は, バッチサイズにおいて, どんなミニバッチMH法でも, 高速収束を保証しつつ, 精度を維持するために必要となる限界を低く証明し, バッチサイズに関してTunaMHが漸近的に最適であることを示す。
経験的に、tunamhは、ロバスト線形回帰、切断されたガウス混合、ロジスティック回帰に関する他の厳密なミニバッチmh法よりも優れていることを示している。
関連論文リスト
- Cooperative Minibatching in Graph Neural Networks [1.534667887016089]
近隣爆発現象(NEP)の低減を目的とした協調的最小化手法を提案する。
本研究では, 連続したミニバッチを生成することで, 連続実行において同じ現象を利用する方法を示す。
単一ノードのマルチGPUシステム上では,Independent Minibatchよりも最大64%の高速化を実現しています。
論文 参考訳(メタデータ) (2023-10-19T01:15:24Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳(メタデータ) (2022-12-02T07:31:39Z) - Data Subsampling for Bayesian Neural Networks [0.0]
ペナルティベイズニューラルネットワーク(PBNN)は、与えられたミニバッチサイズに対して優れた予測性能を達成する。
ミニバッチのサイズを変えることで、予測分布の自然なキャリブレーションが可能になる。
PBNNは、複数の分散デバイスにデータセットを分散する場合に特に適していると考えています。
論文 参考訳(メタデータ) (2022-10-17T14:43:35Z) - Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent:
Convergence Guarantees and Empirical Benefits [21.353189917487512]
勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。
我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。
我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
論文 参考訳(メタデータ) (2021-11-19T22:28:47Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳(メタデータ) (2021-10-20T02:25:25Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳(メタデータ) (2021-04-29T15:38:46Z) - Rapid Risk Minimization with Bayesian Models Through Deep Learning
Approximation [9.93116974480156]
本稿では,ベイズモデル (BM) とニューラルネットワーク (NN) を組み合わせて,予測を最小限のリスクで行う手法を提案する。
私たちのアプローチは、BMのデータ効率と解釈可能性とNNの速度を組み合わせます。
テストデータセットに無視できる損失がある標準手法よりも、リスク最小限の予測をはるかに高速に達成する。
論文 参考訳(メタデータ) (2021-03-29T15:08:25Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳(メタデータ) (2020-12-13T03:41:52Z) - AMAGOLD: Amortized Metropolis Adjustment for Efficient Stochastic
Gradient MCMC [37.768023232677244]
ハミルトニアン・モンテカルロ(英語版)(SGHMC)は、連続分布からサンプリングする効率的な方法である。
本稿では、しばしばメトロポリス・ハスティング(M-H)補正を用いてバイアスを除去する2次SG-MCMCアルゴリズム--AMAGOLDを提案する。
我々は, AMAGOLD が減少するステップサイズではなく, 目標分布に収束し, 収束速度が全バッチベースラインよりも遅くなることを証明した。
論文 参考訳(メタデータ) (2020-02-29T06:57:43Z) - Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via
Non-uniform Subsampling of Gradients [54.90670513852325]
サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。
EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。
EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
論文 参考訳(メタデータ) (2020-02-20T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。