論文の概要: Parametric Mean-Field empirical Bayes in high-dimensional linear regression

• arxiv url: http://arxiv.org/abs/2601.16842v1
• Date: Fri, 23 Jan 2026 15:44:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.752525
• Title: Parametric Mean-Field empirical Bayes in high-dimensional linear regression
• Title（参考訳）: 高次元線形回帰におけるパラメトリック平均場経験ベイズ
• Authors: Seunghyun Lee, Nabarun Deb,
• Abstract要約: 経験的ベイズ推定器(vEB)の急激な位相遷移挙動を特徴付ける。 第1の体制では、推定された事前値を校正して、有効な座標ワイドおよび非局所化推論を可能にする方法を示す。 第2の体制では,vEB推定器の性能向上のためのデバイアス化手法を提案する。
• 参考スコア（独自算出の注目度）: 8.197187859375694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we consider the problem of parametric empirical Bayes estimation of an i.i.d. prior in high-dimensional Bayesian linear regression, with random design. We obtain the asymptotic distribution of the variational Empirical Bayes (vEB) estimator, which approximately maximizes a variational lower bound of the intractable marginal likelihood. We characterize a sharp phase transition behavior for the vEB estimator -- namely that it is information theoretically optimal (in terms of limiting variance) up to $p=o(n^{2/3})$ while it suffers from a sub-optimal convergence rate in higher dimensions. In the first regime, i.e., when $p=o(n^{2/3})$, we show how the estimated prior can be calibrated to enable valid coordinate-wise and delocalized inference, both under the \emph{empirical Bayes posterior} and the oracle posterior. In the second regime, we propose a debiasing technique as a way to improve the performance of the vEB estimator beyond $p=o(n^{2/3})$. Extensive numerical experiments corroborate our theoretical findings.
• Abstract（参考訳）: 本稿では,高次元ベイズ線形回帰におけるパラメトリックなベイズ推定の問題をランダムな設計で考察する。 本研究では, 変分経験ベイズ (vEB) 推定器の漸近分布を求める。 我々は、vEB推定器の鋭い位相遷移挙動を特徴づける -- すなわち、高次元の準最適収束率に悩まされている間、それは理論的に最適(分散の制限の観点から)である。 第1の体制、すなわち$p=o(n^{2/3})$のとき、推定された事前値をキャリブレーションして、デローカライズされた推論を可能にする方法を示す。 第2の体制では、$p=o(n^{2/3})$を超えるvEB推定器の性能を改善する方法としてデバイアス化手法を提案する。 大規模な数値実験は、我々の理論的な発見を裏付けるものである。

関連論文リスト

• Robust Variational Bayes by Min-Max Median Aggregation [13.102667562202386]
  本稿では,データセットの汚染と流出率を処理するための頑健なベイズフレームワークを提案する。 提案手法では,データを$m$不整合部分集合に分割し,ロバストなアグリゲーション原理に基づく共同最適化問題を定式化する。 以上の結果より,2段階のアプローチは,$m$の局所的後肢を直接集約するよりも,近似誤差が小さいことが示唆された。
  論文  参考訳（メタデータ） (2025-12-14T13:02:00Z)
• Variation Due to Regularization Tractably Recovers Bayesian Deep Learning [44.16006844888796]
  本稿では,正規化による変動に基づく大規模ネットワークの不確実性定量化手法を提案する。 正規化変動(RegVar)は、無限小極限においてベイズ深層学習におけるラプラス近似を正確に回復する厳密な不確実性を推定する。 複数のデータセットにまたがる実験により、RegVarは不確実な予測を効果的に識別するだけでなく、学習した表現の安定性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-03-15T20:47:39Z)
• A Mean Field Approach to Empirical Bayes Estimation in High-dimensional Linear Regression [8.345523969593492]
  高次元線形回帰における経験的ベイズ推定について検討する。 もともとCarbonetto and Stephens (2012) と Kim et al. (2022) で導入された変分経験ベイズアプローチを採用する。 これは、空間性のない高次元回帰設定において、最初の厳密な経験的ベイズ法を提供する。
  論文  参考訳（メタデータ） (2023-09-28T20:51:40Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Convergence Rates of Empirical Bayes Posterior Distributions: A Variational Perspective [20.51199643121034]
  非パラメトリックおよび高次元推論のための経験的ベイズ後部分布の収束率について検討した。 その結果,最大辺縁度推定器によって誘導される経験的ベイズ後部分布は,階層的ベイズ後部分布の変動近似とみなすことができることがわかった。
  論文  参考訳（メタデータ） (2020-09-08T19:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。