論文の概要: Scalable Bayesian Monte Carlo: fast uncertainty estimation beyond deep ensembles

• arxiv url: http://arxiv.org/abs/2505.13585v2
• Date: Thu, 21 Aug 2025 09:11:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 14:03:17.144085
• Title: Scalable Bayesian Monte Carlo: fast uncertainty estimation beyond deep ensembles
• Title（参考訳）: スケーラブルベイズ的モンテカルロ:ディープアンサンブルを超えた高速不確実性推定
• Authors: Xinzhu Liang, Joseph M. Lukens, Sanjaya Lohani, Brian T. Kirby, Thomas A. Searles, Xin Qiu, Kody J. H. Law,
• Abstract要約: 本研究では,スケーラブルなベイジアンモンテカルロ(SBMC)と呼ばれるベイジアンディープラーニングのための新しい手法を提案する。 この方法はモデルとアルゴリズムから構成されており、モデルは点推定器と後部を補間する。 系統的な数値研究により、深層アンサンブル(DE)のような最先端(SOTA)法と同じウォールクロック時間で、SBMCは同等またはより良い精度を達成できることが明らかになった。
• 参考スコア（独自算出の注目度）: 3.4661537979254655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work introduces a new method designed for Bayesian deep learning called scalable Bayesian Monte Carlo (SBMC). The method is comprised of a model and an algorithm. The model interpolates between a point estimator and the posterior. The algorithm is a parallel implementation of sequential Monte Carlo sampler (SMC$_\parallel$) or Markov chain Monte Carlo (MCMC$_\parallel$). We collectively refer to these consistent (asymptotically unbiased) algorithms as Bayesian Monte Carlo (BMC), and any such algorithm can be used in our SBMC method. The utility of the method is demonstrated on practical examples: MNIST, CIFAR, IMDb. A systematic numerical study reveals that for the same wall-clock time as state-of-the-art (SOTA) methods like deep ensembles (DE), SBMC achieves comparable or better accuracy and substantially improved uncertainty quantification (UQ)--in particular, epistemic UQ. This is demonstrated on the downstream task of estimating the confidence in predictions, which can be used for reliability assessment or abstention decisions.
• Abstract（参考訳）: 本研究では,スケーラブルなベイジアンモンテカルロ (SBMC) と呼ばれるベイジアンディープラーニングのための新しい手法を提案する。 この方法は、モデルとアルゴリズムとから構成される。 モデルは、点推定器と後部の間を補間する。 このアルゴリズムは、連続モンテカルロサンプリング(SMC$_\parallel$)またはマルコフ連鎖モンテカルロ(MCMC$_\parallel$)の並列実装である。 我々はこれらの一貫した(漸近的でない)アルゴリズムをベイジアンモンテカルロ (BMC) と呼び、そのようなアルゴリズムはSBMC法で利用できる。 実用例として, MNIST, CIFAR, IMDb がある。 系統的な数値研究により、深層アンサンブル(DE)のような最先端(SOTA)法と同様に、SBMCは同等またはより良い精度を達成し、不確実性定量化(UQ)を大幅に改善していることが明らかになった。 これは、信頼性評価や棄権決定に使用できる予測の信頼性を推定する下流タスクで実証される。

関連論文リスト

• Randomized Quasi-Monte Carlo Features for Kernel Approximation [3.105656247358225]
  ランダム化準モンテカルロ法(RQMC)のカーネルベース学習におけるランダム特徴近似への応用について検討する。 古典的モンテカルロ法(MC)と比較して、RQMCは決定論的近似誤差境界を改善する。 RQMC法は低次元と中程度の高次元の両方で安定した性能を維持していることを示す。
  論文  参考訳（メタデータ） (2025-03-08T03:38:28Z)
• SMC Is All You Need: Parallel Strong Scaling [0.695967916921061]
  並列高強度スケーリングを実現するための完全並列シーケンシャルモンテカルロ法(pSMC)を開発した。 pSMC は無限小精度 MSE$=O(varepsilon2)$ に収束し、固定された有限時間複素度コスト=O(1)$ であり、効率リークがない。
  論文  参考訳（メタデータ） (2024-02-09T04:13:38Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• On the Parallel Complexity of Multilevel Monte Carlo in Stochastic Gradient Descent [0.8158530638728501]
  ニューラル微分方程式において、マルチレベルカルロ法(MLMC法)は、単純モンテカルロ法よりも理論的に複雑であることが知られている。 本稿では,以前に計算した部品によるシーケンシャルCリサイクルの並列化を劇的に低減する遅延勾配推定器を提案する。 提案した推定器は, 摂食収束率をわずかに低下させるコストで, 勾配当たりの平均並列複雑性を確実に低減する。
  論文  参考訳（メタデータ） (2023-10-03T19:53:12Z)
• Robust Uncertainty Quantification Using Conformalised Monte Carlo Prediction [6.86690482279886]
  不確実量化(UQ)手法は、予測毎のモデルの信頼性を推定する。 我々は新しい適応モンテカルロ(MC)ドロップアウト法と共形予測(CP)を組み合わせた新しいハイブリッドUQ手法であるMC-CPを紹介する。 MC-CPは、分類と回帰のベンチマークにおいて、MCドロップアウト、RAPS、CQRといった高度なUQ手法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T16:07:01Z)
• SpreadNUTS -- Moderate Dynamic Extension of Paths for No-U-Turn Sampling & Partitioning Visited Regions [0.0]
  本稿では,no-U-turn sampler (NUTS) として知られる特定のハミルトンモンテカルロ (HMC) アルゴリズムの変更を紹介する。 NUTS は NUTS よりも早くサンプル空間を探索することを目的としており、真分布への収束が NUTS より高速なサンプリング器を提供する。
  論文  参考訳（メタデータ） (2023-07-09T05:00:25Z)
• Bayesian Decision Trees Inspired from Evolutionary Algorithms [64.80360020499555]
  我々は、マルコフ連鎖モンテカルロ(MCMC)を本質的に並列なアルゴリズムであるシーケンシャルモンテカルロ(SMC)に置き換えることを提案する。 実験により、SMCと進化的アルゴリズム(EA)を組み合わせることで、MCMCの100倍のイテレーションでより正確な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-05-30T06:17:35Z)
• Beyond Exponentially Fast Mixing in Average-Reward Reinforcement Learning via Multi-Level Monte Carlo Actor-Critic [61.968469104271676]
  本稿では,アクター・アクターとアクター・アクター・アクター・アルゴリズムに埋め込まれた平均報酬に対して,マルチレベルモンテカルロ推定器を用いて混合時間に適応したRL手法を提案する。 不安定な報酬を伴うRL問題において,安定性に要求される技術的条件の緩和効果が,実用上優れた性能に変換されることを実験的に示す。
  論文  参考訳（メタデータ） (2023-01-28T04:12:56Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• On Effective Parallelization of Monte Carlo Tree Search [51.15940034629022]
  モンテカルロ木探索(MCTS)は、探索木を構築するためにかなりの数のロールアウトを必要とするため、計算コストがかかる。 効果的な並列MCTSアルゴリズムを設計する方法は、体系的に研究されておらず、まだよく分かっていない。 我々は,より効率的な並列MCTSアルゴリズムの設計に,提案する必要条件をどのように適用できるかを実証する。
  論文  参考訳（メタデータ） (2020-06-15T21:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。