論文の概要: Variational approximations of empirical Bayes posteriors in
high-dimensional linear models
- arxiv url: http://arxiv.org/abs/2007.15930v1
- Date: Fri, 31 Jul 2020 09:50:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 07:16:11.350725
- Title: Variational approximations of empirical Bayes posteriors in
high-dimensional linear models
- Title(参考訳): 高次元線形モデルにおける経験ベイズ後方の変分近似
- Authors: Yue Yang and Ryan Martin
- Abstract要約: 実験的なベイズアプローチが提案されており、データ駆動中心を持つ細い共役前駆体が特徴的である。
共役前駆体は計算負担の一部を緩和するが、マルコフ連鎖モンテカルロ法は依然として必要である。
実験的なベイズ後部への変分近似を開発し, 計算が高速で, 原点の最適な濃度速度特性を保っている。
- 参考スコア(独自算出の注目度): 9.88451312052173
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In high-dimensions, the prior tails can have a significant effect on both
posterior computation and asymptotic concentration rates. To achieve optimal
rates while keeping the posterior computations relatively simple, an empirical
Bayes approach has recently been proposed, featuring thin-tailed conjugate
priors with data-driven centers. While conjugate priors ease some of the
computational burden, Markov chain Monte Carlo methods are still needed, which
can be expensive when dimension is high. In this paper, we develop a
variational approximation to the empirical Bayes posterior that is fast to
compute and retains the optimal concentration rate properties of the original.
In simulations, our method is shown to have superior performance compared to
existing variational approximations in the literature across a wide range of
high-dimensional settings.
- Abstract(参考訳): 高次元では、先行尾部は後部計算と漸近性集中率の両方に有意な影響を及ぼす。
後方計算を比較的シンプルに保ちながら最適速度を達成するために,データ駆動センタを用いた薄い共役前処理を特徴とする経験的ベイズ法が最近提案されている。
共役先行法は計算負担の一部を緩和するが、マルコフ連鎖モンテカルロ法は依然として必要であり、次元が高ければ高価である。
本稿では, 実験的なベイズ後部への変分近似を開発し, 計算が高速で, 原点の最適濃度特性を保っている。
シミュレーションでは,本手法は,多種多様な高次元環境における文献における既存変分近似よりも優れた性能を示した。
関連論文リスト
- A Mean Field Approach to Empirical Bayes Estimation in High-dimensional
Linear Regression [8.345523969593492]
高次元線形回帰における経験的ベイズ推定について検討する。
もともとCarbonetto and Stephens (2012) と Kim et al. (2022) で導入された変分経験ベイズアプローチを採用する。
これは、空間性のない高次元回帰設定において、最初の厳密な経験的ベイズ法を提供する。
論文 参考訳(メタデータ) (2023-09-28T20:51:40Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳(メタデータ) (2023-06-06T19:02:57Z) - A Bayesian sparse factor model with adaptive posterior concentration [3.1905745371064484]
本研究では,高次元スパース因子モデルに対する新しいベイズ推定法を提案する。
新規性は、空間レベルと因子次元の間の一定の依存性を導入することである。
後部分布が真の因子次元に集中していることが示される。
論文 参考訳(メタデータ) (2023-05-29T12:41:32Z) - Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。
特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
論文 参考訳(メタデータ) (2023-02-13T19:57:17Z) - Prior Density Learning in Variational Bayesian Phylogenetic Parameters
Inference [1.03590082373586]
本稿では,勾配に基づく手法とニューラルネットワークに基づくパラメータ化を用いて,それらのパラメータを学習することで,先行密度の剛性を緩和する手法を提案する。
実験の結果, 分岐長と進化モデルパラメータを推定する上で, 提案手法は強力であることが示唆された。
論文 参考訳(メタデータ) (2023-02-06T01:29:15Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - A flexible empirical Bayes approach to multiple linear regression and
connections with penalized regression [9.464057682692594]
大規模多重回帰に対する新しい経験的ベイズ手法を提案する。
提案手法は2つの主要な概念を組み合わせる: (i) 正規分布のスケール混合の非適応的な族を近似したフレキシブルな「パラメトリック収縮」事前の使用。
提案手法の後方平均値は, ペナル化回帰問題の解法として解釈できることを示す。
論文 参考訳(メタデータ) (2022-08-23T12:42:57Z) - Posterior Coreset Construction with Kernelized Stein Discrepancy for
Model-Based Reinforcement Learning [78.30395044401321]
我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。
ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。
連続的な制御環境では、壁時計の時間を最大50%削減することができる。
論文 参考訳(メタデータ) (2022-06-02T17:27:49Z) - Posterior temperature optimized Bayesian models for inverse problems in
medical imaging [59.82184400837329]
本研究は, 医用画像における逆問題に対する非教師的ベイズ的アプローチである。
最適化後温度が精度の向上と不確実性評価に繋がることを示す。
ソースコードは calibrated.com/Cardio-AI/mfvi-dip-mia で公開されています。
論文 参考訳(メタデータ) (2022-02-02T12:16:33Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳(メタデータ) (2021-04-29T15:38:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。