論文の概要: Scalable Bayesian Monte Carlo: fast uncertainty estimation beyond deep ensembles

• arxiv url: http://arxiv.org/abs/2505.13585v1
• Date: Mon, 19 May 2025 17:55:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.463539
• Title: Scalable Bayesian Monte Carlo: fast uncertainty estimation beyond deep ensembles
• Title（参考訳）: スケーラブルベイズ的モンテカルロ:ディープアンサンブルを超えた高速不確実性推定
• Authors: Xinzhu Liang, Joseph M. Lukens, Sanjaya Lohani, Brian T. Kirby, Thomas A. Searles, Xin Qiu, Kody J. H. Law,
• Abstract要約: この研究は、スケーラブルベイズモンテカルロ(SBMC)と呼ばれる新しい手法を導入する。 このアルゴリズムは、一貫した(漸近的に偏りのない)ベイズディープラーニングアルゴリズムの並列実装である:モンテカルロ(SMC)またはマルコフ連鎖モンテカルロ(MCMC)
• 参考スコア（独自算出の注目度）: 3.4661537979254655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work introduces a new method called scalable Bayesian Monte Carlo (SBMC). The model interpolates between a point estimator and the posterior, and the algorithm is a parallel implementation of a consistent (asymptotically unbiased) Bayesian deep learning algorithm: sequential Monte Carlo (SMC) or Markov chain Monte Carlo (MCMC). The method is motivated theoretically, and its utility is demonstrated on practical examples: MNIST, CIFAR, IMDb. A systematic numerical study reveals that parallel implementations of SMC and MCMC are comparable to serial implementations in terms of performance and total cost, and they achieve accuracy at or beyond the state-of-the-art (SOTA) methods like deep ensembles at convergence, along with substantially improved uncertainty quantification (UQ)--in particular, epistemic UQ. But even parallel implementations are expensive, with an irreducible time barrier much larger than the cost of the MAP estimator. Compressing time further leads to rapid degradation of accuracy, whereas UQ remains valuable. By anchoring to a point estimator we can recover accuracy, while retaining valuable UQ, ultimately delivering strong performance across metrics for a cost comparable to the SOTA.
• Abstract（参考訳）: この研究はスケーラブルベイズモンテカルロ (SBMC) と呼ばれる新しい手法を導入する。 モデルは点推定器と後部を補間し、アルゴリズムは連続的(漸近的に偏りのない)ベイズ深層学習アルゴリズム、シーケンシャルモンテカルロ (SMC) またはマルコフ連鎖モンテカルロ (MCMC) の並列実装である。 この方法は理論的に動機付けられており、実用例としてMNIST、CIFAR、IMDbがある。 系統的な数値研究により、SMCとMCMCの並列実装は、性能と総コストの観点からシリアル実装に匹敵し、収束時の深層アンサンブルのような最先端(SOTA)の手法、特にエピステマ性UQ(英語版)を著しく改善した。 しかし、並列実装でさえ高価であり、MAP推定器のコストよりもはるかに大きな時間障壁を持つ。 圧縮時間はさらに精度の急激な低下につながるが、UQは貴重である。 ポイント推定器に固定することで、価値あるUQを維持しながら精度を回復することができ、最終的にはSOTAに匹敵するコストでメトリクス間で強力なパフォーマンスを提供する。

関連論文リスト

• Randomized Quasi-Monte Carlo Features for Kernel Approximation [3.105656247358225]
  ランダム化準モンテカルロ法(RQMC)のカーネルベース学習におけるランダム特徴近似への応用について検討する。 古典的モンテカルロ法(MC)と比較して、RQMCは決定論的近似誤差境界を改善する。 RQMC法は低次元と中程度の高次元の両方で安定した性能を維持していることを示す。
  論文  参考訳（メタデータ） (2025-03-08T03:38:28Z)
• SMC Is All You Need: Parallel Strong Scaling [0.695967916921061]
  並列高強度スケーリングを実現するための完全並列シーケンシャルモンテカルロ法(pSMC)を開発した。 pSMC は無限小精度 MSE$=O(varepsilon2)$ に収束し、固定された有限時間複素度コスト=O(1)$ であり、効率リークがない。
  論文  参考訳（メタデータ） (2024-02-09T04:13:38Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• On the Parallel Complexity of Multilevel Monte Carlo in Stochastic Gradient Descent [0.8158530638728501]
  ニューラル微分方程式において、マルチレベルカルロ法(MLMC法)は、単純モンテカルロ法よりも理論的に複雑であることが知られている。 本稿では,以前に計算した部品によるシーケンシャルCリサイクルの並列化を劇的に低減する遅延勾配推定器を提案する。 提案した推定器は, 摂食収束率をわずかに低下させるコストで, 勾配当たりの平均並列複雑性を確実に低減する。
  論文  参考訳（メタデータ） (2023-10-03T19:53:12Z)
• Beyond Exponentially Fast Mixing in Average-Reward Reinforcement Learning via Multi-Level Monte Carlo Actor-Critic [61.968469104271676]
  本稿では,アクター・アクターとアクター・アクター・アクター・アルゴリズムに埋め込まれた平均報酬に対して,マルチレベルモンテカルロ推定器を用いて混合時間に適応したRL手法を提案する。 不安定な報酬を伴うRL問題において,安定性に要求される技術的条件の緩和効果が,実用上優れた性能に変換されることを実験的に示す。
  論文  参考訳（メタデータ） (2023-01-28T04:12:56Z)
• On Effective Parallelization of Monte Carlo Tree Search [51.15940034629022]
  モンテカルロ木探索(MCTS)は、探索木を構築するためにかなりの数のロールアウトを必要とするため、計算コストがかかる。 効果的な並列MCTSアルゴリズムを設計する方法は、体系的に研究されておらず、まだよく分かっていない。 我々は,より効率的な並列MCTSアルゴリズムの設計に,提案する必要条件をどのように適用できるかを実証する。
  論文  参考訳（メタデータ） (2020-06-15T21:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。