論文の概要: A fast asynchronous MCMC sampler for sparse Bayesian inference
- arxiv url: http://arxiv.org/abs/2108.06446v1
- Date: Sat, 14 Aug 2021 02:20:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-17 14:46:51.918839
- Title: A fast asynchronous MCMC sampler for sparse Bayesian inference
- Title(参考訳): 疎ベイズ推定のための高速非同期MCMCサンプリング器
- Authors: Yves Atchad\'e and Liwei Wang
- Abstract要約: 本稿では,非常に高速なマルコフ・チェイン・モンテカルロ(MCMC)サンプリングフレームワークを提案する。
本研究では, 高次元線形回帰問題において, 提案アルゴリズムで生成したマルコフ連鎖は, 主信号の正確な復元を行う不変分布を持つことを示す。
- 参考スコア(独自算出の注目度): 10.535140830570256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a very fast approximate Markov Chain Monte Carlo (MCMC) sampling
framework that is applicable to a large class of sparse Bayesian inference
problems, where the computational cost per iteration in several models is of
order $O(ns)$, where $n$ is the sample size, and $s$ the underlying sparsity of
the model. This cost can be further reduced by data sub-sampling when
stochastic gradient Langevin dynamics are employed. The algorithm is an
extension of the asynchronous Gibbs sampler of Johnson et al. (2013), but can
be viewed from a statistical perspective as a form of Bayesian iterated sure
independent screening (Fan et al. (2009)). We show that in high-dimensional
linear regression problems, the Markov chain generated by the proposed
algorithm admits an invariant distribution that recovers correctly the main
signal with high probability under some statistical assumptions. Furthermore we
show that its mixing time is at most linear in the number of regressors. We
illustrate the algorithm with several models.
- Abstract(参考訳): 非常に高速に近似したマルコフ・チェイン・モンテカルロ(MCMC)サンプリングフレームワークを提案する。これは、複数のモデルにおける反復1回当たりの計算コストが$O(ns)$で、$n$はサンプルサイズ、$s$はモデルの基本空間である。
このコストは、確率勾配ランジュバンダイナミクスを用いる場合のデータサブサンプリングによってさらに削減できる。
このアルゴリズムは、Johnsonらの非同期Gibbsサンプルラの拡張である。
(2013)が、統計的観点からはベイズ的反復的な独立したスクリーニング(Fan et al)の形式と見なすことができる。
(2009)).
高次元線形回帰問題において,提案アルゴリズムが生成するマルコフ連鎖は,統計的仮定の下で高い確率で主信号を正確に回復する不変分布を許容することを示した。
さらに, その混合時間は回帰器数において最も直線的であることを示す。
アルゴリズムをいくつかのモデルで示す。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳(メタデータ) (2024-03-08T18:50:19Z) - Closed-form Filtering for Non-linear Systems [83.91296397912218]
我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。
本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。
提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
論文 参考訳(メタデータ) (2024-02-15T08:51:49Z) - Dynamical System Identification, Model Selection and Model Uncertainty
Quantification by Bayesian Inference [0.8999666725996975]
2つのアルゴリズム(JMAP)と変分ベイズ近似(VBA)を比較した。
多変量ガウス確率とそれ以前の分布に対して、ベイジアン定式化はガウス後続分布と証拠分布を与える。
後ガウスノルムは、量的モデル選択のための堅牢な計量を提供する。
論文 参考訳(メタデータ) (2024-01-30T12:16:52Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳(メタデータ) (2023-06-05T21:08:34Z) - Statistical-Computational Tradeoffs in Mixed Sparse Linear Regression [20.00109111254507]
この問題は、$frackSNR2$-to-$frack2SNR2$statistic-to-computational gapである。
また,この問題が困難な狭い状況以外では,関連する混合回帰検出問題を解くための簡単なしきい値決定アルゴリズムも分析する。
論文 参考訳(メタデータ) (2023-03-03T18:03:49Z) - Approximate Gibbs Sampler for Efficient Inference of Hierarchical
Bayesian Models for Grouped Count Data [0.0]
本研究は、推定精度を維持しつつ、HBPRMを効率的に学習するための近似ギブスサンプリング器(AGS)を開発した。
実データと合成データを用いた数値実験により,AGSの優れた性能を示した。
論文 参考訳(メタデータ) (2022-11-28T21:00:55Z) - Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。
提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
論文 参考訳(メタデータ) (2022-06-22T17:58:23Z) - Sampling Approximately Low-Rank Ising Models: MCMC meets Variational
Methods [35.24886589614034]
一般相互作用が$J$である超キューブ上の二次定値イジングモデルを考える。
我々の一般的な結果は、低ランクのIsingモデルに対する最初のサンプリングアルゴリズムを示唆している。
論文 参考訳(メタデータ) (2022-02-17T21:43:50Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z) - Multilevel Gibbs Sampling for Bayesian Regression [6.2997667081978825]
データ行列のレベル階層は、データ行列の特徴やサンプルをクラスタリングすることによって作成されます。
マルコフ連鎖の収束を改善するために, 相関試料を用いた分散還元について検討した。
スピードアップは、予測性能に大きな損失を被ることなく、ほぼすべてに対して達成される。
論文 参考訳(メタデータ) (2020-09-25T11:18:17Z) - Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。
アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。
ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
論文 参考訳(メタデータ) (2020-02-20T10:50:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。