論文の概要: Scalable Bayesian Monte Carlo: fast uncertainty estimation beyond deep ensembles

• arxiv url: http://arxiv.org/abs/2505.13585v1
• Date: Mon, 19 May 2025 17:55:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.463539
• Title: Scalable Bayesian Monte Carlo: fast uncertainty estimation beyond deep ensembles
• Title（参考訳）: スケーラブルベイズ的モンテカルロ:ディープアンサンブルを超えた高速不確実性推定
• Authors: Xinzhu Liang, Joseph M. Lukens, Sanjaya Lohani, Brian T. Kirby, Thomas A. Searles, Xin Qiu, Kody J. H. Law,
• Abstract要約: この研究は、スケーラブルベイズモンテカルロ(SBMC)と呼ばれる新しい手法を導入する。 このアルゴリズムは、一貫した(漸近的に偏りのない)ベイズディープラーニングアルゴリズムの並列実装である:モンテカルロ(SMC)またはマルコフ連鎖モンテカルロ(MCMC)
• 参考スコア（独自算出の注目度）: 3.4661537979254655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work introduces a new method called scalable Bayesian Monte Carlo (SBMC). The model interpolates between a point estimator and the posterior, and the algorithm is a parallel implementation of a consistent (asymptotically unbiased) Bayesian deep learning algorithm: sequential Monte Carlo (SMC) or Markov chain Monte Carlo (MCMC). The method is motivated theoretically, and its utility is demonstrated on practical examples: MNIST, CIFAR, IMDb. A systematic numerical study reveals that parallel implementations of SMC and MCMC are comparable to serial implementations in terms of performance and total cost, and they achieve accuracy at or beyond the state-of-the-art (SOTA) methods like deep ensembles at convergence, along with substantially improved uncertainty quantification (UQ)--in particular, epistemic UQ. But even parallel implementations are expensive, with an irreducible time barrier much larger than the cost of the MAP estimator. Compressing time further leads to rapid degradation of accuracy, whereas UQ remains valuable. By anchoring to a point estimator we can recover accuracy, while retaining valuable UQ, ultimately delivering strong performance across metrics for a cost comparable to the SOTA.
• Abstract（参考訳）: この研究はスケーラブルベイズモンテカルロ (SBMC) と呼ばれる新しい手法を導入する。 モデルは点推定器と後部を補間し、アルゴリズムは連続的(漸近的に偏りのない)ベイズ深層学習アルゴリズム、シーケンシャルモンテカルロ (SMC) またはマルコフ連鎖モンテカルロ (MCMC) の並列実装である。 この方法は理論的に動機付けられており、実用例としてMNIST、CIFAR、IMDbがある。 系統的な数値研究により、SMCとMCMCの並列実装は、性能と総コストの観点からシリアル実装に匹敵し、収束時の深層アンサンブルのような最先端(SOTA)の手法、特にエピステマ性UQ(英語版)を著しく改善した。 しかし、並列実装でさえ高価であり、MAP推定器のコストよりもはるかに大きな時間障壁を持つ。 圧縮時間はさらに精度の急激な低下につながるが、UQは貴重である。 ポイント推定器に固定することで、価値あるUQを維持しながら精度を回復することができ、最終的にはSOTAに匹敵するコストでメトリクス間で強力なパフォーマンスを提供する。

関連論文リスト

• Randomized Quasi-Monte Carlo Features for Kernel Approximation [3.105656247358225]
  ランダム化準モンテカルロ法(RQMC)のカーネルベース学習におけるランダム特徴近似への応用について検討する。 古典的モンテカルロ法(MC)と比較して、RQMCは決定論的近似誤差境界を改善する。 RQMC法は低次元と中程度の高次元の両方で安定した性能を維持していることを示す。
  論文  参考訳（メタデータ） (2025-03-08T03:38:28Z)
• Inference-Time Alignment in Diffusion Models with Reward-Guided Generation: Tutorial and Review [59.856222854472605]
  このチュートリアルは、拡散モデルにおける下流の報酬関数を最適化するための推論時ガイダンスとアライメント方法に関する詳細なガイドを提供する。 生物学のような分野における実践的な応用は、しばしば特定の指標を最大化するサンプル生成を必要とする。 本稿では,(1)推論時と組み合わせた微調整手法,(2)モンテカルロ木探索などの探索アルゴリズムに基づく推論時アルゴリズム,(3)言語モデルと拡散モデルにおける推論時アルゴリズムの接続について論じる。
  論文  参考訳（メタデータ） (2025-01-16T17:37:35Z)
• SMC Is All You Need: Parallel Strong Scaling [0.695967916921061]
  並列高強度スケーリングを実現するための完全並列シーケンシャルモンテカルロ法(pSMC)を開発した。 pSMC は無限小精度 MSE$=O(varepsilon2)$ に収束し、固定された有限時間複素度コスト=O(1)$ であり、効率リークがない。
  論文  参考訳（メタデータ） (2024-02-09T04:13:38Z)
• Accelerating Look-ahead in Bayesian Optimization: Multilevel Monte Carlo is All you Need [5.283807323380133]
  マルチレベルモンテカルロ(MLCBOC)は標準MC収束率を達成することができる。 理論的研究は、2段階および3段階のルックアヘッド獲得関数の近似改善に焦点を当てている。 本研究は数値的に検証し,いくつかのベンチマーク例でBOに対するCBOCの利点を示す。
  論文  参考訳（メタデータ） (2024-02-03T10:24:30Z)
• Combining Normalizing Flows and Quasi-Monte Carlo [0.0]
  近年の機械学習の進歩はモンテカルロ法を改良するための新しい手法の開発に繋がった。 数値実験により,この組み合わせにより,従来のモンテカルロを用いて流れをサンプリングした場合よりも,分散度が著しく低い推定器が得られることを示した。
  論文  参考訳（メタデータ） (2024-01-11T14:17:06Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Automatic Rao-Blackwellization for Sequential Monte Carlo with Belief Propagation [4.956977275061968]
  状態空間モデル(SSM)に関する具体的なベイズ予想は、一般には難解である。 本稿では,信念の伝播を用いた閉形式解を可能な限り計算する混合推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:05:25Z)
• On the Parallel Complexity of Multilevel Monte Carlo in Stochastic Gradient Descent [0.8158530638728501]
  ニューラル微分方程式において、マルチレベルカルロ法(MLMC法)は、単純モンテカルロ法よりも理論的に複雑であることが知られている。 本稿では,以前に計算した部品によるシーケンシャルCリサイクルの並列化を劇的に低減する遅延勾配推定器を提案する。 提案した推定器は, 摂食収束率をわずかに低下させるコストで, 勾配当たりの平均並列複雑性を確実に低減する。
  論文  参考訳（メタデータ） (2023-10-03T19:53:12Z)
• Robust Uncertainty Quantification Using Conformalised Monte Carlo Prediction [6.86690482279886]
  不確実量化(UQ)手法は、予測毎のモデルの信頼性を推定する。 我々は新しい適応モンテカルロ(MC)ドロップアウト法と共形予測(CP)を組み合わせた新しいハイブリッドUQ手法であるMC-CPを紹介する。 MC-CPは、分類と回帰のベンチマークにおいて、MCドロップアウト、RAPS、CQRといった高度なUQ手法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T16:07:01Z)
• SpreadNUTS -- Moderate Dynamic Extension of Paths for No-U-Turn Sampling & Partitioning Visited Regions [0.0]
  本稿では,no-U-turn sampler (NUTS) として知られる特定のハミルトンモンテカルロ (HMC) アルゴリズムの変更を紹介する。 NUTS は NUTS よりも早くサンプル空間を探索することを目的としており、真分布への収束が NUTS より高速なサンプリング器を提供する。
  論文  参考訳（メタデータ） (2023-07-09T05:00:25Z)
• Bayesian Decision Trees Inspired from Evolutionary Algorithms [64.80360020499555]
  我々は、マルコフ連鎖モンテカルロ(MCMC)を本質的に並列なアルゴリズムであるシーケンシャルモンテカルロ(SMC)に置き換えることを提案する。 実験により、SMCと進化的アルゴリズム(EA)を組み合わせることで、MCMCの100倍のイテレーションでより正確な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-05-30T06:17:35Z)
• Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo [104.9535542833054]
  我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。 代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。 提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:11:28Z)
• Beyond Exponentially Fast Mixing in Average-Reward Reinforcement Learning via Multi-Level Monte Carlo Actor-Critic [61.968469104271676]
  本稿では,アクター・アクターとアクター・アクター・アクター・アルゴリズムに埋め込まれた平均報酬に対して,マルチレベルモンテカルロ推定器を用いて混合時間に適応したRL手法を提案する。 不安定な報酬を伴うRL問題において,安定性に要求される技術的条件の緩和効果が,実用上優れた性能に変換されることを実験的に示す。
  論文  参考訳（メタデータ） (2023-01-28T04:12:56Z)
• Parallel Approaches to Accelerate Bayesian Decision Trees [1.9728521995447947]
  本稿では,MCMCにおける並列性を利用した2つの手法を提案する。 第一に、MCMCを別の数値ベイズ的アプローチで置き換える。 第2に、データのパーティショニングについて検討する。
  論文  参考訳（メタデータ） (2023-01-22T09:56:26Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• Compressed Monte Carlo with application in particle filtering [11.84836209560411]
  ランダムサンプルの集合に含まれる統計情報を圧縮するための圧縮MC(C-MC)スキームの理論と実践を紹介する。 C-MCは、この研究で導入された3つの新しいスキームで示されるように、粒子フィルタリングおよび適応ISアルゴリズムにおいて有用である。
  論文  参考訳（メタデータ） (2021-07-18T14:32:04Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Kernel learning approaches for summarising and combining posterior similarity matrices [68.8204255655161]
  我々は,ベイズクラスタリングモデルに対するMCMCアルゴリズムの出力を要約するための新しいアプローチを提案するために,後部類似性行列(PSM)の概念を構築した。 我々の研究の重要な貢献は、PSMが正の半定値であり、したがって確率的に動機付けられたカーネル行列を定義するのに使用できることである。
  論文  参考訳（メタデータ） (2020-09-27T14:16:14Z)
• On Effective Parallelization of Monte Carlo Tree Search [51.15940034629022]
  モンテカルロ木探索(MCTS)は、探索木を構築するためにかなりの数のロールアウトを必要とするため、計算コストがかかる。 効果的な並列MCTSアルゴリズムを設計する方法は、体系的に研究されておらず、まだよく分かっていない。 我々は,より効率的な並列MCTSアルゴリズムの設計に,提案する必要条件をどのように適用できるかを実証する。
  論文  参考訳（メタデータ） (2020-06-15T21:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。