論文の概要: Parallel MCMC Without Embarrassing Failures

• arxiv url: http://arxiv.org/abs/2202.11154v1
• Date: Tue, 22 Feb 2022 20:17:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 06:10:16.001063
• Title: Parallel MCMC Without Embarrassing Failures
• Title（参考訳）: 異常な失敗のない並列MCMC
• Authors: Daniel Augusto de Souza, Diego Mesquita, Samuel Kaski, Luigi Acerbi
• Abstract要約: MCMCはデータパーティションで定義された(サブ)後続体上で並列に実行される。 効率的ではあるが、このフレームワークは後部サンプリングの品質に非常に敏感である。 我々はこの問題を緩和するための新しい組み合わせ戦略を提案する。
• 参考スコア（独自算出の注目度）: 19.429985676081618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embarrassingly parallel Markov Chain Monte Carlo (MCMC) exploits parallel computing to scale Bayesian inference to large datasets by using a two-step approach. First, MCMC is run in parallel on (sub)posteriors defined on data partitions. Then, a server combines local results. While efficient, this framework is very sensitive to the quality of subposterior sampling. Common sampling problems such as missing modes or misrepresentation of low-density regions are amplified -- instead of being corrected -- in the combination phase, leading to catastrophic failures. In this work, we propose a novel combination strategy to mitigate this issue. Our strategy, Parallel Active Inference (PAI), leverages Gaussian Process (GP) surrogate modeling and active learning. After fitting GPs to subposteriors, PAI (i) shares information between GP surrogates to cover missing modes; and (ii) uses active sampling to individually refine subposterior approximations. We validate PAI in challenging benchmarks, including heavy-tailed and multi-modal posteriors and a real-world application to computational neuroscience. Empirical results show that PAI succeeds where previous methods catastrophically fail, with a small communication overhead.
• Abstract（参考訳）: 恥ずかしいことに、Markov Chain Monte Carlo (MCMC) は並列計算を利用して、ベイズ推論を2段階のアプローチで大規模データセットに拡張する。 まず、MCMCはデータパーティションで定義された(サブ)ポストで並列に実行される。 そして、サーバはローカルな結果を組み合わせる。 効率的ではあるが、このフレームワークは後部サンプリングの品質に非常に敏感である。 欠落モードや低密度領域の誤表現といった一般的なサンプリング問題は、組み合わせフェーズで修正される代わりに増幅され、破滅的な失敗につながる。 本稿では,この問題を軽減するための新しい組み合わせ戦略を提案する。 当社の戦略である並列能動推論(pai)は,ガウス過程(gp)をモデルとアクティブラーニングに活用する。 GPを後代に適合させた後、PAI i) 欠落モードをカバーするためにGPサロゲート間で情報を共有する。 (ii) 個別に後続近似を洗練するためにアクティブサンプリングを用いる。 重み付きおよびマルチモーダル後部や実世界の計算神経科学への応用など,PAIを挑戦的なベンチマークで検証する。 実証実験の結果,従来の手法が破滅的に失敗し,通信オーバーヘッドが小さかった場合にPAIが成功することが示された。

関連論文リスト

• A Bayesian Approach to Data Point Selection [24.98069363998565]
  データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。 既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。 DPSに対する新しいベイズ的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:04:13Z)
• Diffusion Generative Modelling for Divide-and-Conquer MCMC [0.0]
  Divide-and-conquer MCMCはマルコフ連鎖モンテカルロサンプリングの並列化戦略である。 本稿では,拡散生成モデルを用いて後続分布に密度近似を適合させる手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T15:48:46Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Overlap-guided Gaussian Mixture Models for Point Cloud Registration [61.250516170418784]
  確率的3Dポイントクラウド登録法は、ノイズ、アウトレーヤ、密度変動を克服する競合性能を示した。 本稿では,一致したガウス混合モデル(GMM)パラメータから最適変換を演算する,重複誘導確率登録手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:02:33Z)
• Compressed Monte Carlo with application in particle filtering [11.84836209560411]
  ランダムサンプルの集合に含まれる統計情報を圧縮するための圧縮MC(C-MC)スキームの理論と実践を紹介する。 C-MCは、この研究で導入された3つの新しいスキームで示されるように、粒子フィルタリングおよび適応ISアルゴリズムにおいて有用である。
  論文  参考訳（メタデータ） (2021-07-18T14:32:04Z)
• Semi-Supervised Learning with Variational Bayesian Inference and Maximum Uncertainty Regularization [62.21716612888669]
  半教師付き学習(SSL)を改善するための2つの一般的な方法を提案する。 第一に、重量摂動(WP)を既存のCR(Consistency regularization)ベースの手法に統合する。 第2の手法は「最大不確実性正規化(MUR)」と呼ばれる新しい整合性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-03T09:49:35Z)
• PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization [64.39761523935613]
  本稿では,画像中の異常を同時検出・ローカライズするPatch Distribution Modeling, PaDiMを提案する。 PaDiMは、パッチの埋め込みに事前訓練された畳み込みニューラルネットワーク(CNN)を使用している。 また、CNNの異なるセマンティックレベル間の相関を利用して、異常のローカライズも改善している。
  論文  参考訳（メタデータ） (2020-11-17T17:29:18Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of Multimodal Posteriors [8.11978827493967]
  MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。 重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。 いくつかのモデルファミリで実践的な実装を示す。
  論文  参考訳（メタデータ） (2020-06-22T15:26:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。