論文の概要: A Mean Field Approach to Empirical Bayes Estimation in High-dimensional
Linear Regression
- arxiv url: http://arxiv.org/abs/2309.16843v2
- Date: Wed, 25 Oct 2023 21:20:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-28 04:41:30.929059
- Title: A Mean Field Approach to Empirical Bayes Estimation in High-dimensional
Linear Regression
- Title(参考訳): 高次元線形回帰における経験ベイズ推定に対する平均場解析
- Authors: Sumit Mukherjee, Bodhisattva Sen, Subhabrata Sen
- Abstract要約: 高次元線形回帰における経験的ベイズ推定について検討する。
もともとCarbonetto and Stephens (2012) と Kim et al. (2022) で導入された変分経験ベイズアプローチを採用する。
これは、空間性のない高次元回帰設定において、最初の厳密な経験的ベイズ法を提供する。
- 参考スコア(独自算出の注目度): 8.345523969593492
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study empirical Bayes estimation in high-dimensional linear regression. To
facilitate computationally efficient estimation of the underlying prior, we
adopt a variational empirical Bayes approach, introduced originally in
Carbonetto and Stephens (2012) and Kim et al. (2022). We establish asymptotic
consistency of the nonparametric maximum likelihood estimator (NPMLE) and its
(computable) naive mean field variational surrogate under mild assumptions on
the design and the prior. Assuming, in addition, that the naive mean field
approximation has a dominant optimizer, we develop a computationally efficient
approximation to the oracle posterior distribution, and establish its accuracy
under the 1-Wasserstein metric. This enables computationally feasible Bayesian
inference; e.g., construction of posterior credible intervals with an average
coverage guarantee, Bayes optimal estimation for the regression coefficients,
estimation of the proportion of non-nulls, etc. Our analysis covers both
deterministic and random designs, and accommodates correlations among the
features. To the best of our knowledge, this provides the first rigorous
nonparametric empirical Bayes method in a high-dimensional regression setting
without sparsity.
- Abstract(参考訳): 高次元線形回帰における経験的ベイズ推定について検討する。
基礎となる事前推定の計算効率を向上すべく,もともとcarbonetto and stephens (2012) と kim et al. (2022) で導入された変分経験ベイズ法を適用した。
非パラメトリック最大度推定器(npmle)とその(計算可能)ナイーブ平均場変動推定器の漸近的一貫性を設計および事前の軽度仮定下で確立する。
さらに, ナイーブ平均場近似が支配的オプティマイザを持つと仮定すると, オラクル後方分布に対する計算効率の高い近似を開発し, 1-wasserstein計量の下でその精度を確立する。
これにより計算可能なベイズ推定が可能となり、例えば、平均カバレッジ保証付き後信頼性区間の構築、回帰係数のベイズ最適推定、非null比率の推定などが可能になる。
分析は決定論的設計とランダム設計の両方をカバーし,特徴間の相関性を考慮した。
我々の知る限りでは、この手法は空間性のない高次元回帰設定において、初めて厳密で非パラメトリックな経験的ベイズ法を提供する。
関連論文リスト
- Leveraging Self-Consistency for Data-Efficient Amortized Bayesian
Inference [3.0358713021250083]
本稿では,償却ベイズ推定の効率と精度を向上させる手法を提案する。
我々は,関節モデルの近似表現に基づいて限界確率を推定する。
論文 参考訳(メタデータ) (2023-10-06T17:41:41Z) - Provably Efficient Bayesian Optimization with Unbiased Gaussian Process
Hyperparameter Estimation [52.035894372374756]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-12T03:35:45Z) - Density Ratio Estimation-based Bayesian Optimization with
Semi-Supervised Learning [5.346298077607419]
半教師付き学習を用いた密度比推定に基づくベイズ最適化を提案する。
本研究では,未ラベル点サンプリングと固定サイズのプールを用いた2つの異なるシナリオにおいて,本手法といくつかの基本手法の実験結果を示す。
論文 参考訳(メタデータ) (2023-05-24T23:01:56Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Wasserstein Distributionally Robust Estimation in High Dimensions:
Performance Analysis and Optimal Hyperparameter Tuning [0.0]
雑音線形測定から未知パラメータを推定するための分布的ロバストな推定フレームワークを提案する。
このような推定器の2乗誤差性能を解析する作業に着目する。
凸凹最適化問題の解法として2乗誤差を復元できることを示す。
論文 参考訳(メタデータ) (2022-06-27T13:02:59Z) - Density Estimation with Autoregressive Bayesian Predictives [1.5771347525430772]
密度推定の文脈では、標準的なベイズ的アプローチは、後方予測をターゲットとする。
我々は、データを潜在空間にマッピングする自己回帰ニューラルネットワークを用いて、帯域幅の新たなパラメータ化を開発する。
論文 参考訳(メタデータ) (2022-06-13T20:43:39Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。
我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
論文 参考訳(メタデータ) (2020-10-11T19:05:49Z) - $\gamma$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a
Robust Divergence Estimator [95.71091446753414]
最寄りの$gamma$-divergence推定器をデータ差分尺度として用いることを提案する。
本手法は既存の不一致対策よりも高いロバスト性を実現する。
論文 参考訳(メタデータ) (2020-06-13T06:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。