論文の概要: A Mean Field Approach to Empirical Bayes Estimation in High-dimensional Linear Regression

• arxiv url: http://arxiv.org/abs/2309.16843v1
• Date: Thu, 28 Sep 2023 20:51:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 16:15:49.280254
• Title: A Mean Field Approach to Empirical Bayes Estimation in High-dimensional Linear Regression
• Title（参考訳）: 高次元線形回帰における経験ベイズ推定に対する平均場解析
• Authors: Sumit Mukherjee, Bodhisattva Sen, Subhabrata Sen
• Abstract要約: 高次元線形回帰における経験的ベイズ推定について検討する。 もともとCarbonetto and Stephens (2012) と Kim et al. (2022) で導入された変分経験ベイズアプローチを採用する。 これは、空間性のない高次元回帰設定において、最初の厳密な経験的ベイズ法を提供する。
• 参考スコア（独自算出の注目度）: 8.345523969593492
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study empirical Bayes estimation in high-dimensional linear regression. To facilitate computationally efficient estimation of the underlying prior, we adopt a variational empirical Bayes approach, introduced originally in Carbonetto and Stephens (2012) and Kim et al. (2022). We establish asymptotic consistency of the nonparametric maximum likelihood estimator (NPMLE) and its (computable) naive mean field variational surrogate under mild assumptions on the design and the prior. Assuming, in addition, that the naive mean field approximation has a dominant optimizer, we develop a computationally efficient approximation to the oracle posterior distribution, and establish its accuracy under the 1-Wasserstein metric. This enables computationally feasible Bayesian inference; e.g., construction of posterior credible intervals with an average coverage guarantee, Bayes optimal estimation for the regression coefficients, estimation of the proportion of non-nulls, etc. Our analysis covers both deterministic and random designs, and accommodates correlations among the features. To the best of our knowledge, this provides the first rigorous nonparametric empirical Bayes method in a high-dimensional regression setting without sparsity.
• Abstract（参考訳）: 高次元線形回帰における経験的ベイズ推定について検討する。 基礎となる事前推定の計算効率を向上すべく,もともとcarbonetto and stephens (2012) と kim et al. (2022) で導入された変分経験ベイズ法を適用した。 非パラメトリック最大度推定器(npmle)とその(計算可能)ナイーブ平均場変動推定器の漸近的一貫性を設計および事前の軽度仮定下で確立する。 さらに, ナイーブ平均場近似が支配的オプティマイザを持つと仮定すると, オラクル後方分布に対する計算効率の高い近似を開発し, 1-wasserstein計量の下でその精度を確立する。 これにより計算可能なベイズ推定が可能となり、例えば、平均カバレッジ保証付き後信頼性区間の構築、回帰係数のベイズ最適推定、非null比率の推定などが可能になる。 分析は決定論的設計とランダム設計の両方をカバーし,特徴間の相関性を考慮した。 我々の知る限りでは、この手法は空間性のない高次元回帰設定において、初めて厳密で非パラメトリックな経験的ベイズ法を提供する。

関連論文リスト

• A variational Bayes approach to debiased inference for low-dimensional parameters in high-dimensional linear regression [2.7498981662768536]
  疎線形回帰における統計的推測のためのスケーラブルな変分ベイズ法を提案する。 我々のアプローチは、平均場近似をニュアンス座標に割り当てることに依存している。 これは前処理のステップに過ぎず、平均場変動ベイズの計算上の優位性を保っている。
  論文  参考訳（メタデータ） (2024-06-18T14:27:44Z)
• Optimal convex $M$-estimation via score matching [6.115859302936817]
  実験的リスク最小化が回帰係数の下流推定における最適分散をもたらすデータ駆動凸損失関数を構築した。 半パラメトリック手法は、雑音分布の対数密度の導関数の導関数の最も少ない近似を目標とする。
  論文  参考訳（メタデータ） (2024-03-25T12:23:19Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Leveraging Self-Consistency for Data-Efficient Amortized Bayesian Inference [9.940560505044122]
  本稿では,償却ベイズ推定の効率と精度を向上させる手法を提案する。 我々は,関節モデルの近似表現に基づいて限界確率を推定する。
  論文  参考訳（メタデータ） (2023-10-06T17:41:41Z)
• Density Ratio Estimation-based Bayesian Optimization with Semi-Supervised Learning [5.346298077607419]
  この課題を解決するために,半教師付き学習を用いた密度比推定に基づくベイズ最適化を提案する。 本手法の実証的な結果といくつかの基本手法を,未ラベルの点サンプリングと固定サイズのプールを持つ2つの異なるシナリオで示す。
  論文  参考訳（メタデータ） (2023-05-24T23:01:56Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Density Estimation with Autoregressive Bayesian Predictives [1.5771347525430772]
  密度推定の文脈では、標準的なベイズ的アプローチは、後方予測をターゲットとする。 我々は、データを潜在空間にマッピングする自己回帰ニューラルネットワークを用いて、帯域幅の新たなパラメータ化を開発する。
  論文  参考訳（メタデータ） (2022-06-13T20:43:39Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• $\gamma$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a Robust Divergence Estimator [95.71091446753414]
  最寄りの$gamma$-divergence推定器をデータ差分尺度として用いることを提案する。 本手法は既存の不一致対策よりも高いロバスト性を実現する。
  論文  参考訳（メタデータ） (2020-06-13T06:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。