論文の概要: Comparison of parallel SMC and MCMC for Bayesian deep learning

• arxiv url: http://arxiv.org/abs/2402.06173v3
• Date: Wed, 20 Aug 2025 10:50:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.033091
• Title: Comparison of parallel SMC and MCMC for Bayesian deep learning
• Title（参考訳）: ベイズ深層学習における並列SMCとMCMCの比較
• Authors: Xinzhu Liang, Joseph M. Lukens, Sanjaya Lohani, Brian T. Kirby, Thomas A. Searles, Xin Qiu, Kody J. H. Law,
• Abstract要約: この研究は、一貫した(漸近的に偏りのない)ベイズディープラーニングアルゴリズムの並列実装を体系的に比較する。 SMC$_parallel$に対して収束の証明を行い、理論上単一のモノリシックSMCサンプリング器と同じ収束のレベルを達成することを示す。
• 参考スコア（独自算出の注目度）: 3.4661537979254655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work systematically compares parallel implementations of consistent (asymptotically unbiased) Bayesian deep learning algorithms: sequential Monte Carlo sampler (SMC$_\parallel$) or Markov chain Monte Carlo (MCMC$_\parallel$). We provide a proof of convergence for SMC$_\parallel$ showing that it theoretically achieves the same level of convergence as a single monolithic SMC sampler, while the reduced communication lowers wall-clock time. It is well-known that the first samples from MCMC need to be discarded to eliminate initialization bias, and that the number of discarded samples must grow like the logarithm of the number of parallel chains to control that bias for MCMC$_\parallel$. A systematic empirical numerical study on MNIST, CIFAR, and IMDb, reveals that parallel implementations of both methods perform comparably to non-parallel implementations in terms of performance and total cost, and also comparably to each other. However, both methods still require a large wall-clock time, and suffer from catastrophic non-convergence if they aren't run for long enough.
• Abstract（参考訳）: この研究は、連続モンテカルロサンプリング(SMC$_\parallel$)またはマルコフ連鎖モンテカルロ(MCMC$_\parallel$)という、一貫した(漸近的にバイアスのない)ベイズ学習アルゴリズムの並列実装を体系的に比較する。 我々は,SMC$_\parallel$に対して,単一のモノリシックSMCサンプリング器と同レベルの収束を理論的に達成し,通信の低減がウォールクロック時間を短縮することを示す。 MCMCからの最初のサンプルは初期化バイアスを取り除くために廃棄される必要があり、廃棄されたサンプルの数はMCMC$_\parallel$のバイアスを制御するために、並列鎖の数の対数のように増加しなければならないことはよく知られている。 MNIST, CIFAR, IMDb に関する系統的実証的な数値研究により, 両手法の並列実装は, 性能と総コストの両面において並列化可能であり, 相互に並列化可能であることが明らかになった。 しかし、どちらの方法も大きな壁時計時間を必要としており、十分に長く走らなければ破滅的な非収束に悩まされる。

関連論文リスト

• Monte Carlo and quasi-Monte Carlo integration for likelihood functions [0.0]
  我々は,モンテカルロ法と準モンテカルロ法(QMC)の積分誤差を比較し,後続分布の正規化定数と一定の限界確率を近似する。 積分の次元が無限大になる傾向にある$n$と$m$として固定されている場合、MC積分の相対誤差のスケーリングレートは、追加の$n1/2log(n)p/2$データ依存因子を含む。 この研究のさらなる貢献は、ホルトン系列に対する星の差の高次元スケーリングに縛られることである。
  論文  参考訳（メタデータ） (2025-06-26T19:39:30Z)
• Scalable Bayesian Monte Carlo: fast uncertainty estimation beyond deep ensembles [3.4661537979254655]
  この研究は、スケーラブルベイズモンテカルロ(SBMC)と呼ばれる新しい手法を導入する。 このアルゴリズムは、一貫した(漸近的に偏りのない)ベイズディープラーニングアルゴリズムの並列実装である:モンテカルロ(SMC)またはマルコフ連鎖モンテカルロ(MCMC)
  論文  参考訳（メタデータ） (2025-05-19T17:55:32Z)
• Measuring quantum relative entropy with finite-size effect [53.64687146666141]
  相対エントロピー$D(rho|sigma)$を$sigma$が知られているときに推定する。 我々の推定器は次元$d$が固定されたときにCram'er-Rao型境界に達する。
  論文  参考訳（メタデータ） (2024-06-25T06:07:20Z)
• Dividing quantum circuits for time evolution of stochastic processes by orthogonal series density estimation [0.0]
  量子モンテカルロ積分(Quantum Monte Carlo integration, QMCI)は、確率変数の予測を推定する量子アルゴリズムである。 本稿では直交級数密度推定に基づいて$U_X(t)$を分割する手法を提案する。 本手法は,回路深度と総クエリ複雑性のスケーリングを,それぞれ$O(sqrtN)$と$O(N3/2)$として達成する。
  論文  参考訳（メタデータ） (2024-06-04T01:50:21Z)
• Convergence Bounds for Sequential Monte Carlo on Multimodal Distributions using Soft Decomposition [6.872242798058046]
  逐次モンテカルロ法(SMC)アルゴリズムにより得られたサンプルの実証測度の下での関数の分散に関するバウンダリを証明した。 我々は,局所MCMC力学に依存する混合時間を用いて,真のマルチモーダル設定でバウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2024-05-29T22:43:45Z)
• Freya PAGE: First Optimal Time Complexity for Large-Scale Nonconvex Finite-Sum Optimization with Heterogeneous Asynchronous Computations [92.1840862558718]
  実用的な分散システムでは、労働者は概して均質ではなく、非常に多様な処理時間を持つ。 本稿では、任意に遅い計算を扱うための新しい並列手法Freyaを提案する。 Freyaは従来の手法と比較して,複雑性の保証が大幅に向上していることを示す。
  論文  参考訳（メタデータ） (2024-05-24T13:33:30Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• More Quantum Speedups for Multiproposal MCMC [9.09160682938666]
  マルチプロポサルマルコフ連鎖モンテカルロ(MCMC)アルゴリズムは、目標分布をより効率的にサンプリングするために、各イテレーションで複数の提案から選択する。 最近の研究は、そのような多目的MCMCアルゴリズムの2次量子スピードアップの可能性を示している。 QPMCMC2は,ターゲット評価に$mathcalO(1)$と$mathcalO(log P)$ qubitsしか必要としない。
  論文  参考訳（メタデータ） (2023-12-03T14:05:08Z)
• Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators [8.493584276672971]
  勾配降下(SGD)とその変種は機械学習に不可欠である。 本稿では,マルコフ連鎖モンテカルロ(MCMC)推定器を用いて勾配を計算するSGDアルゴリズムについて考察する。 MCMC-SGDはサドル点から脱出し、$(epsilon,epsilon1/4)$2次定常点に達することが示されている。
  論文  参考訳（メタデータ） (2023-03-19T08:29:49Z)
• De-Sequentialized Monte Carlo: a parallel-in-time particle smoother [3.97478982737167]
  我々は、$mathcalO(log T)$ timeで$T$観測を処理できる新しい粒子スムーズなdSMC(de-Sequentialized Monte Carlo)を提案する。 これは標準粒子スムースラーと比較してよいが、その複雑さは$T$で線型である。 また、dSMCに基づく粒子ギブスサンプリングを設計し、並列ハードウェアで$mathcalO(log(T))$コストで状態空間モデルでパラメータ推論を行うことができる。
  論文  参考訳（メタデータ） (2022-02-04T17:46:32Z)
• Mean-Square Analysis with An Application to Optimal Dimension Dependence of Langevin Monte Carlo [60.785586069299356]
  この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。 我々の理論解析は数値実験によってさらに検証される。
  論文  参考訳（メタデータ） (2021-09-08T18:00:05Z)
• Randomized Stochastic Variance-Reduced Methods for Stochastic Bilevel Optimization [62.87181271021217]
  機械学習に多くの応用がある非SBO問題を考察する。 本稿では,非SBO問題に対する高速ランダム化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-05T18:28:42Z)
• On Effective Parallelization of Monte Carlo Tree Search [51.15940034629022]
  モンテカルロ木探索(MCTS)は、探索木を構築するためにかなりの数のロールアウトを必要とするため、計算コストがかかる。 効果的な並列MCTSアルゴリズムを設計する方法は、体系的に研究されておらず、まだよく分かっていない。 我々は,より効率的な並列MCTSアルゴリズムの設計に,提案する必要条件をどのように適用できるかを実証する。
  論文  参考訳（メタデータ） (2020-06-15T21:36:00Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。