論文の概要: Ensemble Slice Sampling: Parallel, black-box and gradient-free inference for correlated & multimodal distributions

• arxiv url: http://arxiv.org/abs/2002.06212v3
• Date: Sun, 3 Oct 2021 13:43:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 04:39:58.644580
• Title: Ensemble Slice Sampling: Parallel, black-box and gradient-free inference for correlated & multimodal distributions
• Title（参考訳）: アンサンブルスライスサンプリング:相関分布とマルチモーダル分布の並列・ブラックボックス・勾配フリー推論
• Authors: Minas Karamanis and Florian Beutler
• Abstract要約: スライスサンプリング (Slice Sampling) は、最小ハンドチューニングで目標分布の特性に適応するマルコフ連鎖モンテカルロアルゴリズムとして登場した。 本稿では,初期長さ尺度を適応的に調整することで,そのような困難を回避できるアルゴリズムであるEnsemble Slice Sampling(ESS)を紹介する。 これらのアフィン不変アルゴリズムは簡単に構築でき、手作業で調整する必要がなく、並列計算環境で容易に実装できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Slice Sampling has emerged as a powerful Markov Chain Monte Carlo algorithm that adapts to the characteristics of the target distribution with minimal hand-tuning. However, Slice Sampling's performance is highly sensitive to the user-specified initial length scale hyperparameter and the method generally struggles with poorly scaled or strongly correlated distributions. This paper introduces Ensemble Slice Sampling (ESS), a new class of algorithms that bypasses such difficulties by adaptively tuning the initial length scale and utilising an ensemble of parallel walkers in order to efficiently handle strong correlations between parameters. These affine-invariant algorithms are trivial to construct, require no hand-tuning, and can easily be implemented in parallel computing environments. Empirical tests show that Ensemble Slice Sampling can improve efficiency by more than an order of magnitude compared to conventional MCMC methods on a broad range of highly correlated target distributions. In cases of strongly multimodal target distributions, Ensemble Slice Sampling can sample efficiently even in high dimensions. We argue that the parallel, black-box and gradient-free nature of the method renders it ideal for use in scientific fields such as physics, astrophysics and cosmology which are dominated by a wide variety of computationally expensive and non-differentiable models.
• Abstract（参考訳）: スライスサンプリングは、最小限のハンドチューニングでターゲット分布の特性に適応する強力なマルコフ連鎖モンテカルロアルゴリズムとして登場した。 しかし、スライスサンプリングの性能は、ユーザが指定した初期長スケールのハイパーパラメータに非常に敏感であり、一般に、この方法は、スケールの悪い分布や強い相関の強い分布に苦しむ。 本稿では,パラメータ間の強い相関を効率的に処理するために,初期長さスケールを適応的に調整し,並列ウォーカーのアンサンブルを利用するアルゴリズムであるアンサンブルスライスサンプリング(ess)を提案する。 これらのアフィン不変アルゴリズムは構成は自明であり、ハンドチューニングを必要とせず、並列コンピューティング環境で容易に実装できる。 実験により,エンサンブルスライスサンプリングの効率は従来のMCMC法に比べて1桁以上向上することが示された。 強マルチモーダルターゲット分布の場合、アンサンブルスライスサンプリングは高次元においても効率的にサンプリングすることができる。 この手法の並列性、ブラックボックス性、勾配のない性質は、物理学、天体物理学、宇宙論といった様々な計算コストと微分不可能なモデルによって支配される科学分野に理想的であると論じる。

関連論文リスト

• Shuffled Linear Regression via Spectral Matching [6.24954299842136]
  シャッフル線形回帰は線形変換を通じて潜在特徴を推定しようとする。 この問題は、従来の最小二乗法(LS)とLast Absolute Shrinkage and Selection Operator(LASSO)アプローチを拡張している。 置換を効率的に解決するスペクトルマッチング法を提案する。
  論文  参考訳（メタデータ） (2024-09-30T16:26:40Z)
• Faster Sampling via Stochastic Gradient Proximal Sampler [28.422547264326468]
  非log-concave分布からのサンプリングのための近位サンプリング器 (SPS) について検討した。 対象分布への収束性は,アルゴリズムの軌道が有界である限り保証可能であることを示す。 我々は、Langevin dynamics(SGLD)とLangevin-MALAの2つの実装可能な変種を提供し、SPS-SGLDとSPS-MALAを生み出した。
  論文  参考訳（メタデータ） (2024-05-27T00:53:18Z)
• Sample-Efficient Clustering and Conquer Procedures for Parallel Large-Scale Ranking and Selection [0.0]
  並列コンピューティング環境では、相関ベースのクラスタリングは$mathcalO(p)$サンプル複雑性低減率を達成することができる。 ニューラルアーキテクチャ検索のような大規模AIアプリケーションでは、スクリーニングなしバージョンの手順が、サンプル効率の点で完全に順序づけられたベンチマークを驚くほど上回っている。
  論文  参考訳（メタデータ） (2024-02-03T15:56:03Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Improving Gradient-guided Nested Sampling for Posterior Inference [47.08481529384556]
  本稿では,パフォーマンス,汎用的勾配誘導型ネストサンプリングアルゴリズム,$tt GGNS$を提案する。 後部分布から大量の高品質なサンプルを得るために,ネストサンプリングと生成フローネットワークを組み合わせる可能性を示す。
  論文  参考訳（メタデータ） (2023-12-06T21:09:18Z)
• Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models [65.52639709094963]
  ビームサーチやガンベルトップkサンプリングのような手法は、ビームの各要素に対して異なる出力を保証できるが、並列化は容易ではない。 本稿では,大言語モデルによって暗黙的に定義された算術符号書に従ってサンプリングを行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-18T22:19:41Z)
• Tuning Stochastic Gradient Algorithms for Statistical Inference via Large-Sample Asymptotics [18.93569692490218]
  勾配アルゴリズムのチューニングは、一般化可能な理論ではなく、試行錯誤に基づくことが多い。 固定ステップの大きい平均化は、チューニングパラメータの選択に対して堅牢であることを示す。 我々は他の勾配モンテカルロアルゴリズムの体系的解析の基礎を築いた。
  論文  参考訳（メタデータ） (2022-07-25T17:58:09Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。