論文の概要: Convergence Rates of Empirical Bayes Posterior Distributions: A
Variational Perspective
- arxiv url: http://arxiv.org/abs/2009.03969v1
- Date: Tue, 8 Sep 2020 19:35:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 21:38:47.560427
- Title: Convergence Rates of Empirical Bayes Posterior Distributions: A
Variational Perspective
- Title（参考訳）: 経験ベイズ後方分布の収束率:変分的視点
- Authors: Fengshuo Zhang and Chao Gao
- Abstract要約: 非パラメトリックおよび高次元推論のための経験的ベイズ後部分布の収束率について検討した。
その結果,最大辺縁度推定器によって誘導される経験的ベイズ後部分布は,階層的ベイズ後部分布の変動近似とみなすことができることがわかった。
- 参考スコア（独自算出の注目度）: 20.51199643121034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the convergence rates of empirical Bayes posterior distributions for
nonparametric and high-dimensional inference. We show that as long as the
hyperparameter set is discrete, the empirical Bayes posterior distribution
induced by the maximum marginal likelihood estimator can be regarded as a
variational approximation to a hierarchical Bayes posterior distribution. This
connection between empirical Bayes and variational Bayes allows us to leverage
the recent results in the variational Bayes literature, and directly obtains
the convergence rates of empirical Bayes posterior distributions from a
variational perspective. For a more general hyperparameter set that is not
necessarily discrete, we introduce a new technique called "prior decomposition"
to deal with prior distributions that can be written as convex combinations of
probability measures whose supports are low-dimensional subspaces. This leads
to generalized versions of the classical "prior mass and testing" conditions
for the convergence rates of empirical Bayes. Our theory is applied to a number
of statistical estimation problems including nonparametric density estimation
and sparse linear regression.
- Abstract（参考訳）: 非パラメトリック・高次元推定のための経験ベイズ後方分布の収束率について検討した。
極小パラメータ集合が離散である限り、最大辺縁確率推定器によって誘導される経験的ベイズ後分布は階層的ベイズ後分布に対する変動近似とみなすことができる。
この経験ベイズと変分ベイズの関係は、変分ベイズ文学における最近の結果の活用を可能にし、変分ベイズ後方分布の収束率を直接的に得ることができる。
離散的ではないより一般的な超パラメータ集合に対して、支持が低次元部分空間である確率測度の凸結合として書ける事前分布を扱う「優先分解」と呼ばれる新しい手法を導入する。
これにより、経験ベイズの収束率の古典的「主質量および試験」条件の一般化版が導かれる。
本理論は、非パラメトリック密度推定やスパース線形回帰を含む多くの統計的推定問題に適用する。
関連論文リスト
- Predictive variational inference: Learn the predictively optimal posterior distribution [1.7648680700685022]
バニラ変量推論はベイズ後部分布に最適な近似を求めるが、正確なベイズ後部分布でさえモデル的不特定の下では意味がないことが多い。
本稿では,最適後続密度から標本を探索する一般推論フレームワークである予測変分推論(PVI)を提案する。
この枠組みは、可能性エクササイズモデルと可能性フリーモデルの両方に適用できる。
論文 参考訳（メタデータ） (2024-10-18T19:44:57Z) - Quasi-Bayes meets Vines [2.3124143670964448]
我々は、スクラーの定理を用いて、準ベイズ予想を高次元に拡張する別の方法を提案する。
提案した準ベイジアンVine (QB-Vine) は完全に非パラメトリックな密度推定器であることを示す。
論文 参考訳（メタデータ） (2024-06-18T16:31:02Z) - A Mean Field Approach to Empirical Bayes Estimation in High-dimensional
Linear Regression [8.345523969593492]
高次元線形回帰における経験的ベイズ推定について検討する。
もともとCarbonetto and Stephens (2012) と Kim et al. (2022) で導入された変分経験ベイズアプローチを採用する。
これは、空間性のない高次元回帰設定において、最初の厳密な経験的ベイズ法を提供する。
論文 参考訳（メタデータ） (2023-09-28T20:51:40Z) - Variational Prediction [95.00085314353436]
本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。
このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
論文 参考訳（メタデータ） (2023-07-14T18:19:31Z) - Bayesian Renormalization [68.8204255655161]
ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。
ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。
本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
論文 参考訳（メタデータ） (2023-05-17T18:00:28Z) - Posterior concentration and fast convergence rates for generalized
Bayesian learning [4.186575888568896]
一般化ベイズ推定器の一般環境での学習率について検討する。
マルチスケールのベルンシュタインの条件の下では、一般化された後続分布は最適仮説の集合の周りに集中することが証明される。
論文 参考訳（メタデータ） (2021-11-19T14:25:21Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳（メタデータ） (2021-06-30T11:00:24Z) - Neural Empirical Bayes: Source Distribution Estimation and its
Applications to Simulation-Based Inference [9.877509217895263]
ニューラルネットワークによる経験的ベイズ手法は,地中真理源分布を復元する。
また,コライダー物理の逆問題に対するニューラル経験ベイズの適用性を示す。
論文 参考訳（メタデータ） (2020-11-11T14:59:34Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳（メタデータ） (2020-02-17T19:23:36Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳（メタデータ） (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。