論文の概要: Asymptotically Optimal Exact Minibatch Metropolis-Hastings

• arxiv url: http://arxiv.org/abs/2006.11677v3
• Date: Thu, 22 Oct 2020 18:28:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 22:20:10.588881
• Title: Asymptotically Optimal Exact Minibatch Metropolis-Hastings
• Title（参考訳）: Asymptotically Optimal Exact Minibatch Metropolis-Hastings
• Authors: Ruqi Zhang and A. Feder Cooper and Christopher De Sa
• Abstract要約: サブサンプルを用いてスケーリングを実現するミニバッチMH法について検討する。 本稿では,そのバッチサイズと理論的に保証された収束率との間の調整可能なトレードオフを露呈する,新しい最小バッチMH手法TunaMHを提案する。 TunaMHは、ロバストな線形回帰、トランケートされたガウス混合、ロジスティック回帰において、他の正確なミニバッチMH法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 37.768023232677244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Metropolis-Hastings (MH) is a commonly-used MCMC algorithm, but it can be intractable on large datasets due to requiring computations over the whole dataset. In this paper, we study minibatch MH methods, which instead use subsamples to enable scaling. We observe that most existing minibatch MH methods are inexact (i.e. they may change the target distribution), and show that this inexactness can cause arbitrarily large errors in inference. We propose a new exact minibatch MH method, TunaMH, which exposes a tunable trade-off between its batch size and its theoretically guaranteed convergence rate. We prove a lower bound on the batch size that any minibatch MH method must use to retain exactness while guaranteeing fast convergence-the first such bound for minibatch MH-and show TunaMH is asymptotically optimal in terms of the batch size. Empirically, we show TunaMH outperforms other exact minibatch MH methods on robust linear regression, truncated Gaussian mixtures, and logistic regression.
• Abstract（参考訳）: metropolis-hastings (mh) はよく使われるmcmcアルゴリズムであるが、データセット全体の計算を必要とするため、大規模なデータセットでは難解である。 本稿では,サブサンプルを用いてスケーリングを実現するミニバッチMH法について検討する。 既存の minibatch mh メソッドは、ほとんどが不正確である(つまり、ターゲット分布を変更する可能性がある)ことを観察し、この不正確性が推論において任意に大きなエラーを引き起こす可能性があることを示した。 本稿では,そのバッチサイズと理論的に保証された収束率との間の調整可能なトレードオフを露呈する,新しい最小バッチMH手法TunaMHを提案する。 我々は, バッチサイズにおいて, どんなミニバッチMH法でも, 高速収束を保証しつつ, 精度を維持するために必要となる限界を低く証明し, バッチサイズに関してTunaMHが漸近的に最適であることを示す。 経験的に、tunamhは、ロバスト線形回帰、切断されたガウス混合、ロジスティック回帰に関する他の厳密なミニバッチmh法よりも優れていることを示している。

関連論文リスト

• Uncertainty quantification for White Matter Hyperintensity segmentation detects silent failures and improves automated Fazekas quantification [3.1773635209430036]
  ホワイトマター・ハイパーインテンシティ(White Matter Hyperintensities、WMH)は、脳MRIに存在する小血管疾患の主要な神経放射線学的マーカーである。 WMHは, 形状, 位置, サイズ, 未定義境界, および他の病理と類似の強度プロファイルにより, セグメンテーションが困難である。 WMHの不確実性情報を組み込むことで,ファゼカス分類性能と校正性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-11-26T16:34:24Z)
• Cooperative Minibatching in Graph Neural Networks [2.9904113489777826]
  グラフニューラルネットワーク(GNN)のトレーニングには、かなりの計算リソースが必要で、そのプロセスはデータ集約性が高い。 リソース要求を減らす最も効果的な方法の1つは、グラフサンプリングと組み合わせたミニバッチトレーニングである。 本研究では, 連続したミニバッチを生成することで, 連続実行において同じ現象を利用する方法を示す。
  論文  参考訳（メタデータ） (2023-10-19T01:15:24Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Data Subsampling for Bayesian Neural Networks [0.0]
  Penalty Bayesian Neural Networks - PBNNは,サブサンプルバッチデータによる可能性の評価を可能にする,新たなアルゴリズムである。 PBNNは,データサイズが小さい場合でも,予測性能が良好であることを示す。
  論文  参考訳（メタデータ） (2022-10-17T14:43:35Z)
• Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent: Convergence Guarantees and Empirical Benefits [21.353189917487512]
  勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。 我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。 我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
  論文  参考訳（メタデータ） (2021-11-19T22:28:47Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• AMAGOLD: Amortized Metropolis Adjustment for Efficient Stochastic Gradient MCMC [37.768023232677244]
  ハミルトニアン・モンテカルロ(英語版)(SGHMC)は、連続分布からサンプリングする効率的な方法である。 本稿では、しばしばメトロポリス・ハスティング(M-H)補正を用いてバイアスを除去する2次SG-MCMCアルゴリズム--AMAGOLDを提案する。 我々は, AMAGOLD が減少するステップサイズではなく, 目標分布に収束し, 収束速度が全バッチベースラインよりも遅くなることを証明した。
  論文  参考訳（メタデータ） (2020-02-29T06:57:43Z)
• Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients [54.90670513852325]
  サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。 EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。 EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
  論文  参考訳（メタデータ） (2020-02-20T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。