論文の概要: Scalable Bayesian Monte Carlo: fast uncertainty estimation beyond deep ensembles

• arxiv url: http://arxiv.org/abs/2505.13585v1
• Date: Mon, 19 May 2025 17:55:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.463539
• Title: Scalable Bayesian Monte Carlo: fast uncertainty estimation beyond deep ensembles
• Title（参考訳）: スケーラブルベイズ的モンテカルロ:ディープアンサンブルを超えた高速不確実性推定
• Authors: Xinzhu Liang, Joseph M. Lukens, Sanjaya Lohani, Brian T. Kirby, Thomas A. Searles, Xin Qiu, Kody J. H. Law,
• Abstract要約: この研究は、スケーラブルベイズモンテカルロ(SBMC)と呼ばれる新しい手法を導入する。 このアルゴリズムは、一貫した(漸近的に偏りのない)ベイズディープラーニングアルゴリズムの並列実装である:モンテカルロ(SMC)またはマルコフ連鎖モンテカルロ(MCMC)
• 参考スコア（独自算出の注目度）: 3.4661537979254655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work introduces a new method called scalable Bayesian Monte Carlo (SBMC). The model interpolates between a point estimator and the posterior, and the algorithm is a parallel implementation of a consistent (asymptotically unbiased) Bayesian deep learning algorithm: sequential Monte Carlo (SMC) or Markov chain Monte Carlo (MCMC). The method is motivated theoretically, and its utility is demonstrated on practical examples: MNIST, CIFAR, IMDb. A systematic numerical study reveals that parallel implementations of SMC and MCMC are comparable to serial implementations in terms of performance and total cost, and they achieve accuracy at or beyond the state-of-the-art (SOTA) methods like deep ensembles at convergence, along with substantially improved uncertainty quantification (UQ)--in particular, epistemic UQ. But even parallel implementations are expensive, with an irreducible time barrier much larger than the cost of the MAP estimator. Compressing time further leads to rapid degradation of accuracy, whereas UQ remains valuable. By anchoring to a point estimator we can recover accuracy, while retaining valuable UQ, ultimately delivering strong performance across metrics for a cost comparable to the SOTA.
• Abstract（参考訳）: この研究はスケーラブルベイズモンテカルロ (SBMC) と呼ばれる新しい手法を導入する。 モデルは点推定器と後部を補間し、アルゴリズムは連続的(漸近的に偏りのない)ベイズ深層学習アルゴリズム、シーケンシャルモンテカルロ (SMC) またはマルコフ連鎖モンテカルロ (MCMC) の並列実装である。 この方法は理論的に動機付けられており、実用例としてMNIST、CIFAR、IMDbがある。 系統的な数値研究により、SMCとMCMCの並列実装は、性能と総コストの観点からシリアル実装に匹敵し、収束時の深層アンサンブルのような最先端(SOTA)の手法、特にエピステマ性UQ(英語版)を著しく改善した。 しかし、並列実装でさえ高価であり、MAP推定器のコストよりもはるかに大きな時間障壁を持つ。 圧縮時間はさらに精度の急激な低下につながるが、UQは貴重である。 ポイント推定器に固定することで、価値あるUQを維持しながら精度を回復することができ、最終的にはSOTAに匹敵するコストでメトリクス間で強力なパフォーマンスを提供する。

関連論文リスト

• Randomized Quasi-Monte Carlo Features for Kernel Approximation [3.105656247358225]
  ランダム化準モンテカルロ法(RQMC)のカーネルベース学習におけるランダム特徴近似への応用について検討する。 古典的モンテカルロ法(MC)と比較して、RQMCは決定論的近似誤差境界を改善する。 RQMC法は低次元と中程度の高次元の両方で安定した性能を維持していることを示す。
  論文  参考訳（メタデータ） (2025-03-08T03:38:28Z)
• SMC Is All You Need: Parallel Strong Scaling [0.695967916921061]
  並列高強度スケーリングを実現するための完全並列シーケンシャルモンテカルロ法(pSMC)を開発した。 pSMC は無限小精度 MSE$=O(varepsilon2)$ に収束し、固定された有限時間複素度コスト=O(1)$ であり、効率リークがない。
  論文  参考訳（メタデータ） (2024-02-09T04:13:38Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• On the Parallel Complexity of Multilevel Monte Carlo in Stochastic Gradient Descent [0.8158530638728501]
  ニューラル微分方程式において、マルチレベルカルロ法(MLMC法)は、単純モンテカルロ法よりも理論的に複雑であることが知られている。 本稿では,以前に計算した部品によるシーケンシャルCリサイクルの並列化を劇的に低減する遅延勾配推定器を提案する。 提案した推定器は, 摂食収束率をわずかに低下させるコストで, 勾配当たりの平均並列複雑性を確実に低減する。
  論文  参考訳（メタデータ） (2023-10-03T19:53:12Z)
• Robust Uncertainty Quantification Using Conformalised Monte Carlo Prediction [6.86690482279886]
  不確実量化(UQ)手法は、予測毎のモデルの信頼性を推定する。 我々は新しい適応モンテカルロ(MC)ドロップアウト法と共形予測(CP)を組み合わせた新しいハイブリッドUQ手法であるMC-CPを紹介する。 MC-CPは、分類と回帰のベンチマークにおいて、MCドロップアウト、RAPS、CQRといった高度なUQ手法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T16:07:01Z)
• SpreadNUTS -- Moderate Dynamic Extension of Paths for No-U-Turn Sampling & Partitioning Visited Regions [0.0]
  本稿では,no-U-turn sampler (NUTS) として知られる特定のハミルトンモンテカルロ (HMC) アルゴリズムの変更を紹介する。 NUTS は NUTS よりも早くサンプル空間を探索することを目的としており、真分布への収束が NUTS より高速なサンプリング器を提供する。
  論文  参考訳（メタデータ） (2023-07-09T05:00:25Z)
• Bayesian Decision Trees Inspired from Evolutionary Algorithms [64.80360020499555]
  我々は、マルコフ連鎖モンテカルロ(MCMC)を本質的に並列なアルゴリズムであるシーケンシャルモンテカルロ(SMC)に置き換えることを提案する。 実験により、SMCと進化的アルゴリズム(EA)を組み合わせることで、MCMCの100倍のイテレーションでより正確な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-05-30T06:17:35Z)
• Beyond Exponentially Fast Mixing in Average-Reward Reinforcement Learning via Multi-Level Monte Carlo Actor-Critic [61.968469104271676]
  本稿では,アクター・アクターとアクター・アクター・アクター・アルゴリズムに埋め込まれた平均報酬に対して,マルチレベルモンテカルロ推定器を用いて混合時間に適応したRL手法を提案する。 不安定な報酬を伴うRL問題において,安定性に要求される技術的条件の緩和効果が,実用上優れた性能に変換されることを実験的に示す。
  論文  参考訳（メタデータ） (2023-01-28T04:12:56Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• On Effective Parallelization of Monte Carlo Tree Search [51.15940034629022]
  モンテカルロ木探索(MCTS)は、探索木を構築するためにかなりの数のロールアウトを必要とするため、計算コストがかかる。 効果的な並列MCTSアルゴリズムを設計する方法は、体系的に研究されておらず、まだよく分かっていない。 我々は,より効率的な並列MCTSアルゴリズムの設計に,提案する必要条件をどのように適用できるかを実証する。
  論文  参考訳（メタデータ） (2020-06-15T21:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。