論文の概要: Sampling Parallelism for Fast and Efficient Bayesian Learning

• arxiv url: http://arxiv.org/abs/2604.04736v1
• Date: Mon, 06 Apr 2026 15:03:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.239418
• Title: Sampling Parallelism for Fast and Efficient Bayesian Learning
• Title（参考訳）: 高速かつ効率的なベイズ学習のための並列性サンプリング
• Authors: Asena Karolin Özdemir, Lars H. Heyen, Arvid Weyrauch, Achim Streit, Markus Götz, Charlotte Debus,
• Abstract要約: 本稿では,サンプリングに基づくベイズ学習のボトルネックを狙った,シンプルながら強力な並列化戦略であるサンプリング並列化を導入する。 実験では,サンプル数が計算資源に比例してスケールされた場合,ほぼ完全なスケーリングを示し,試料評価がクリーンに並列化することを確認した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models, and deep neural networks in particular, are increasingly deployed in risk-sensitive domains such as healthcare, environmental forecasting, and finance, where reliable quantification of predictive uncertainty is essential. However, many uncertainty quantification (UQ) methods remain difficult to apply due to their substantial computational cost. Sampling-based Bayesian learning approaches, such as Bayesian neural networks (BNNs), are particularly expensive since drawing and evaluating multiple parameter samples rapidly exhausts memory and compute resources. These constraints have limited the accessibility and exploration of Bayesian techniques thus far. To address these challenges, we introduce sampling parallelism, a simple yet powerful parallelization strategy that targets the primary bottleneck of sampling-based Bayesian learning: the samples themselves. By distributing sample evaluations across multiple GPUs, our method reduces memory pressure and training time without requiring architectural changes or extensive hyperparameter tuning. We detail the methodology and evaluate its performance on a few example tasks and architectures, comparing against distributed data parallelism (DDP) as a baseline. We further demonstrate that sampling parallelism is complementary to existing strategies by implementing a hybrid approach that combines sample and data parallelism. Our experiments show near-perfect scaling when the sample number is scaled proportionally to the computational resources, confirming that sample evaluations parallelize cleanly. Although DDP achieves better raw speedups under scaling with constant workload, sampling parallelism has a notable advantage: by applying independent stochastic augmentations to the same batch on each GPU, it increases augmentation diversity and thus reduces the number of epochs required for convergence.
• Abstract（参考訳）: マシンラーニングモデルやディープニューラルネットワークは、医療、環境予知、金融といったリスクに敏感な領域にますます多くデプロイされており、予測の不確実性の信頼できる定量化が不可欠である。 しかし、多くの不確実量化法(UQ)は、その計算コストが大きいため、適用が難しいままである。 ベイズニューラルネットワーク(BNN)のようなサンプリングベースのベイズ学習アプローチは、複数のパラメータサンプルの描画と評価がメモリと計算資源を急速に消費するため、特に高価である。 これらの制約は、これまでベイズ的手法のアクセシビリティと探索を制限してきた。 これらの課題に対処するために,サンプリングに基づくベイズ学習の主なボトルネックであるサンプリング並列化戦略であるサンプリング並列化を導入する。 複数のGPUにサンプル評価を分散することにより,アーキテクチャ変更や広範なハイパーパラメータチューニングを必要とせずに,メモリの圧力とトレーニング時間を削減できる。 本稿では,分散データ並列処理(DDP)をベースラインとして,その方法論を詳述し,その性能評価を行う。 さらに,サンプル並列化とデータ並列化を組み合わせたハイブリッドアプローチを導入することで,サンプリング並列化が既存の戦略を補完することを示す。 実験では,サンプル数が計算資源に比例してスケールされた場合,ほぼ完全なスケーリングを示し,試料評価がクリーンに並列化することを確認した。 DDPは、一定のワークロードでスケールする際の生のスピードアップを改善するが、サンプリング並列性は顕著な利点がある: 各GPU上で同じバッチに独立確率拡張を適用することにより、増大の多様性が増大し、収束に必要なエポックの数が減少する。

関連論文リスト

• Nested Slice Sampling: Vectorized Nested Sampling for GPU-Accelerated Inference [0.4999814847776097]
  本稿では,Nested Slice Smpling (NSS)について紹介する。 チューニング解析により、スライス幅の設定、高次元の挙動の改善、ステップごとの計算をより予測可能な簡単な準最適ルールが得られる。
  論文  参考訳（メタデータ） (2026-01-30T18:20:32Z)
• Simulation-based inference via telescoping ratio estimation for trawl processes [0.0]
  本稿では,高速で高精度なMarkovベースの推論フレームワークを提案する。 チェビシェフ近似を用いて独立な後続サンプルを効率よく生成し,連鎖モンテカルロ法が混在しても正確な推論を可能にする。 エネルギー需要データに適用した柔軟な無限分割可能なモデルのクラスであるトロールプロセスにおいて,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-10-05T05:26:46Z)
• Parallel Simulation for Log-concave Sampling and Score-based Diffusion Models [55.07411490538404]
  本稿では,次元$d$の適応的複雑性依存性を改善する並列サンプリング手法を提案する。 我々の手法は科学計算による並列シミュレーション技術に基づいている。
  論文  参考訳（メタデータ） (2024-12-10T11:50:46Z)
• Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
  量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。 提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
  論文  参考訳（メタデータ） (2023-12-03T05:52:30Z)
• Fast Bayesian Inference with Batch Bayesian Quadrature via Kernel Recombination [23.6031259333814]
  確率収束率を有する並列(バッチ)ベイズ二次法(BQ)を提案する。 提案手法は,各種実世界のデータセットにおける最先端BQ手法とNested Smplingの両方のサンプリング効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-06-09T19:14:52Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。