論文の概要: Efficiently Vectorized MCMC on Modern Accelerators

• arxiv url: http://arxiv.org/abs/2503.17405v1
• Date: Thu, 20 Mar 2025 16:07:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:37:45.551412
• Title: Efficiently Vectorized MCMC on Modern Accelerators
• Title（参考訳）: 現代の加速器上での効率的なベクトル化MCMC
• Authors: Hugh Dance, Pierre Glaser, Peter Orbanz, Ryan Adams,
• Abstract要約: 有限状態マシン(FSM)のフレームワークを用いて、$textttvmap$のようなツールでベクトル化する場合の同期オーバーヘッドを回避する方法として、シングルチェーンMCMCアルゴリズムを設計する方法を示す。 我々は、Slice Smpling、HMC-NUTS、Delayed Rejectionなど、FSMとしていくつかの一般的なMCMCアルゴリズムを実装し、最大1桁のスピードアップを示す。
• 参考スコア（独自算出の注目度）: 1.952427698056566
• License:
• Abstract: With the advent of automatic vectorization tools (e.g., JAX's $\texttt{vmap}$), writing multi-chain MCMC algorithms is often now as simple as invoking those tools on single-chain code. Whilst convenient, for various MCMC algorithms this results in a synchronization problem -- loosely speaking, at each iteration all chains running in parallel must wait until the last chain has finished drawing its sample. In this work, we show how to design single-chain MCMC algorithms in a way that avoids synchronization overheads when vectorizing with tools like $\texttt{vmap}$ by using the framework of finite state machines (FSMs). Using a simplified model, we derive an exact theoretical form of the obtainable speed-ups using our approach, and use it to make principled recommendations for optimal algorithm design. We implement several popular MCMC algorithms as FSMs, including Elliptical Slice Sampling, HMC-NUTS, and Delayed Rejection, demonstrating speed-ups of up to an order of magnitude in experiments.
• Abstract（参考訳）: 自動ベクタライゼーションツール(JAXの$\texttt{vmap}$など)の出現に伴い、マルチチェーンMCMCアルゴリズムの記述は、これらのツールを単一チェーンコードで呼び出すのと同じくらい単純になった。 便利だが、様々なMCMCアルゴリズムでは同期の問題が発生する。ゆるやかな言い方をすれば、並列に走るすべてのチェーンは、サンプルの描画が完了するまで待たなければならない。 本研究では,有限状態マシン(FSM)のフレームワークを用いて,$\texttt{vmap}$のようなツールをベクトル化する際の同期オーバーヘッドを回避する方法として,シングルチェーンMCMCアルゴリズムの設計方法を示す。 単純化されたモデルを用いて,提案手法を用いた精度向上の正確な理論形式を導出し,アルゴリズム設計の原理的な推奨を行う。 我々は、楕円スライスサンプリング、HMC-NUTS、遅延リジェクションなど、FSMとしていくつかの一般的なMCMCアルゴリズムを実装し、実験において最大1桁のスピードアップを示す。

関連論文リスト

• Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
  FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。 我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
  論文  参考訳（メタデータ） (2023-11-14T15:56:18Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• CORE: Common Random Reconstruction for Distributed Optimization with Provable Low Communication Complexity [110.50364486645852]
  コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。 本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
  論文  参考訳（メタデータ） (2023-09-23T08:45:27Z)
• Bayesian Decision Trees Inspired from Evolutionary Algorithms [64.80360020499555]
  我々は、マルコフ連鎖モンテカルロ(MCMC)を本質的に並列なアルゴリズムであるシーケンシャルモンテカルロ(SMC)に置き換えることを提案する。 実験により、SMCと進化的アルゴリズム(EA)を組み合わせることで、MCMCの100倍のイテレーションでより正確な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-05-30T06:17:35Z)
• Parallel Approaches to Accelerate Bayesian Decision Trees [1.9728521995447947]
  本稿では,MCMCにおける並列性を利用した2つの手法を提案する。 第一に、MCMCを別の数値ベイズ的アプローチで置き換える。 第2に、データのパーティショニングについて検討する。
  論文  参考訳（メタデータ） (2023-01-22T09:56:26Z)
• Single MCMC Chain Parallelisation on Decision Trees [0.9137554315375919]
  本稿では,平均的なラップトップやパソコン上でMCMC決定ツリーチェーンを並列化する手法を提案する。 実験の結果,シリアルと並列実装が統計的に同一である場合,実行時間を18倍に向上できることがわかった。
  論文  参考訳（メタデータ） (2022-07-26T07:07:51Z)
• DG-LMC: A Turn-key and Scalable Synchronous Distributed MCMC Algorithm [21.128416842467132]
  ユーザフレンドリな分散MCMCアルゴリズムを用いて,高次元設定でのスケーリングを実現する。 本稿では,合成実験および実データ実験における提案手法の有効性について述べる。
  論文  参考訳（メタデータ） (2021-06-11T10:37:14Z)
• Involutive MCMC: a Unifying Framework [64.46316409766764]
  iMCMCでは,幅広いMCMCアルゴリズムについて述べる。 我々は、新しいMCMCアルゴリズムを開発するための設計原則として使用できる多くのトリックを定式化する。 後者は、既知の可逆MCMCアルゴリズムをより効率的な可逆アルゴリズムに変換する2つの例で示す。
  論文  参考訳（メタデータ） (2020-06-30T10:21:42Z)
• On Effective Parallelization of Monte Carlo Tree Search [51.15940034629022]
  モンテカルロ木探索(MCTS)は、探索木を構築するためにかなりの数のロールアウトを必要とするため、計算コストがかかる。 効果的な並列MCTSアルゴリズムを設計する方法は、体系的に研究されておらず、まだよく分かっていない。 我々は,より効率的な並列MCTSアルゴリズムの設計に,提案する必要条件をどのように適用できるかを実証する。
  論文  参考訳（メタデータ） (2020-06-15T21:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。