論文の概要: Ensemble Slice Sampling: Parallel, black-box and gradient-free inference
for correlated & multimodal distributions
- arxiv url: http://arxiv.org/abs/2002.06212v3
- Date: Sun, 3 Oct 2021 13:43:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 04:39:58.644580
- Title: Ensemble Slice Sampling: Parallel, black-box and gradient-free inference
for correlated & multimodal distributions
- Title（参考訳）: アンサンブルスライスサンプリング:相関分布とマルチモーダル分布の並列・ブラックボックス・勾配フリー推論
- Authors: Minas Karamanis and Florian Beutler
- Abstract要約: スライスサンプリング (Slice Sampling) は、最小ハンドチューニングで目標分布の特性に適応するマルコフ連鎖モンテカルロアルゴリズムとして登場した。
本稿では,初期長さ尺度を適応的に調整することで,そのような困難を回避できるアルゴリズムであるEnsemble Slice Sampling(ESS)を紹介する。
これらのアフィン不変アルゴリズムは簡単に構築でき、手作業で調整する必要がなく、並列計算環境で容易に実装できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Slice Sampling has emerged as a powerful Markov Chain Monte Carlo algorithm
that adapts to the characteristics of the target distribution with minimal
hand-tuning. However, Slice Sampling's performance is highly sensitive to the
user-specified initial length scale hyperparameter and the method generally
struggles with poorly scaled or strongly correlated distributions. This paper
introduces Ensemble Slice Sampling (ESS), a new class of algorithms that
bypasses such difficulties by adaptively tuning the initial length scale and
utilising an ensemble of parallel walkers in order to efficiently handle strong
correlations between parameters. These affine-invariant algorithms are trivial
to construct, require no hand-tuning, and can easily be implemented in parallel
computing environments. Empirical tests show that Ensemble Slice Sampling can
improve efficiency by more than an order of magnitude compared to conventional
MCMC methods on a broad range of highly correlated target distributions. In
cases of strongly multimodal target distributions, Ensemble Slice Sampling can
sample efficiently even in high dimensions. We argue that the parallel,
black-box and gradient-free nature of the method renders it ideal for use in
scientific fields such as physics, astrophysics and cosmology which are
dominated by a wide variety of computationally expensive and non-differentiable
models.
- Abstract（参考訳）: スライスサンプリングは、最小限のハンドチューニングでターゲット分布の特性に適応する強力なマルコフ連鎖モンテカルロアルゴリズムとして登場した。
しかし、スライスサンプリングの性能は、ユーザが指定した初期長スケールのハイパーパラメータに非常に敏感であり、一般に、この方法は、スケールの悪い分布や強い相関の強い分布に苦しむ。
本稿では,パラメータ間の強い相関を効率的に処理するために,初期長さスケールを適応的に調整し,並列ウォーカーのアンサンブルを利用するアルゴリズムであるアンサンブルスライスサンプリング(ess)を提案する。
これらのアフィン不変アルゴリズムは構成は自明であり、ハンドチューニングを必要とせず、並列コンピューティング環境で容易に実装できる。
実験により,エンサンブルスライスサンプリングの効率は従来のMCMC法に比べて1桁以上向上することが示された。
強マルチモーダルターゲット分布の場合、アンサンブルスライスサンプリングは高次元においても効率的にサンプリングすることができる。
この手法の並列性、ブラックボックス性、勾配のない性質は、物理学、天体物理学、宇宙論といった様々な計算コストと微分不可能なモデルによって支配される科学分野に理想的であると論じる。
関連論文リスト
- Sample-Efficient Clustering and Conquer Procedures for Parallel
Large-Scale Ranking and Selection [0.0]
並列コンピューティング環境では、相関ベースのクラスタリングは$mathcalO(p)$サンプル複雑性低減率を達成することができる。
ニューラルアーキテクチャ検索のような大規模AIアプリケーションでは、スクリーニングなしバージョンの手順が、サンプル効率の点で完全に順序づけられたベンチマークを驚くほど上回っている。
論文 参考訳（メタデータ） (2024-02-03T15:56:03Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Improving Gradient-guided Nested Sampling for Posterior Inference [47.08481529384556]
本稿では,パフォーマンス,汎用的勾配誘導型ネストサンプリングアルゴリズム,$tt GGNS$を提案する。
後部分布から大量の高品質なサンプルを得るために,ネストサンプリングと生成フローネットワークを組み合わせる可能性を示す。
論文 参考訳（メタデータ） (2023-12-06T21:09:18Z) - Gaussian Cooling and Dikin Walks: The Interior-Point Method for
Logconcave Sampling [10.225358400539722]
1990年代、ネスターとネミロフスキーは自己調和障壁に基づく凸最適化のための内部点法(IPM)を開発した。
2012年、カナンとナラヤナンはポリトープを一様にサンプリングするダイキンウォークを提案した。
本稿では、多時間サンプリングアルゴリズムのためのダイキンウォークと共にIPM機械を開発し、適応させることにより、このアプローチを一般化する。
論文 参考訳（メタデータ） (2023-07-24T17:15:38Z) - Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models [65.52639709094963]
ビームサーチやガンベルトップkサンプリングのような手法は、ビームの各要素に対して異なる出力を保証できるが、並列化は容易ではない。
本稿では,大言語モデルによって暗黙的に定義された算術符号書に従ってサンプリングを行うフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-18T22:19:41Z) - Tuning Stochastic Gradient Algorithms for Statistical Inference via
Large-Sample Asymptotics [18.93569692490218]
勾配アルゴリズムのチューニングは、一般化可能な理論ではなく、試行錯誤に基づくことが多い。
固定ステップの大きい平均化は、チューニングパラメータの選択に対して堅牢であることを示す。
我々は他の勾配モンテカルロアルゴリズムの体系的解析の基礎を築いた。
論文 参考訳（メタデータ） (2022-07-25T17:58:09Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳（メタデータ） (2021-10-07T17:51:10Z) - COAST: COntrollable Arbitrary-Sampling NeTwork for Compressive Sensing [27.870537087888334]
本研究では,任意のサンプリング(サンプリング行列を含む)の問題を1つのモデルで解くために,COAST(Arbitrary-Sampling neTwork)を提案する。
COASTは1つのモデルで任意のサンプリング行列を処理でき、高速で最先端のパフォーマンスを実現することができる。
論文 参考訳（メタデータ） (2021-07-15T10:05:00Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。