論文の概要: A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression

• arxiv url: http://arxiv.org/abs/2208.10910v3
• Date: Wed, 12 Jun 2024 17:54:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 02:02:19.042222
• Title: A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression
• Title（参考訳）: 多重線形回帰に対するフレキシブルな経験的ベイズアプローチとペナル化回帰との接続
• Authors: Youngseok Kim, Wei Wang, Peter Carbonetto, Matthew Stephens,
• Abstract要約: 大規模多重回帰に対する新しい経験的ベイズ手法を提案する。 当社のアプローチでは、フレキシブルな"適応縮小"と変分近似の2つの主要なアイデアが組み合わさっている。 提案手法では, 後進平均値がペナル化回帰問題を解く。
• 参考スコア（独自算出の注目度）: 8.663322701649454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a new empirical Bayes approach for large-scale multiple linear regression. Our approach combines two key ideas: (i) the use of flexible "adaptive shrinkage" priors, which approximate the nonparametric family of scale mixture of normal distributions by a finite mixture of normal distributions; and (ii) the use of variational approximations to efficiently estimate prior hyperparameters and compute approximate posteriors. Combining these two ideas results in fast and flexible methods, with computational speed comparable to fast penalized regression methods such as the Lasso, and with competitive prediction accuracy across a wide range of scenarios. Further, we provide new results that establish conceptual connections between our empirical Bayes methods and penalized methods. Specifically, we show that the posterior mean from our method solves a penalized regression problem, with the form of the penalty function being learned from the data by directly solving an optimization problem (rather than being tuned by cross-validation). Our methods are implemented in an R package, mr.ash.alpha, available from https://github.com/stephenslab/mr.ash.alpha.
• Abstract（参考訳）: 大規模多重回帰に対する新しい経験的ベイズ手法を提案する。 私たちのアプローチには2つの重要なアイデアが組み合わさっています。 (i)正規分布のスケール混合の非パラメトリック族を正規分布の有限混合で近似するフレキシブルな「適応収縮」前駆体の使用 (II) 偏差近似を用いて, 先行パラメータを効率的に推定し, 近似後方を計算する。 これら2つのアイデアを組み合わせると、ラッソのような高速なペナル化回帰法に匹敵する計算速度と、幅広いシナリオで競合予測精度を持つ高速で柔軟な手法が生まれる。 さらに,経験的ベイズ法と刑罰法との概念的関係を確立する新たな結果を提供する。 具体的には,最適化問題を直接解き,ペナルティ関数の形式を(クロスバリデーションによって調整されるのではなく)データから学習することにより,ペナルティ関数の形式をペナルティレグレッション問題の解き方を示す。 私たちのメソッドは、https://github.com/stephenslab/mr.ash.alphaから利用可能なRパッケージmr.ash.alphaで実装されています。

関連論文リスト

• Distributed High-Dimensional Quantile Regression: Estimation Efficiency and Support Recovery [0.0]
  我々は高次元線形量子レグレッションのための分散推定とサポート回復に焦点をあてる。 元の量子レグレッションを最小二乗最適化に変換する。 効率的なアルゴリズムを開発し、高い計算と通信効率を享受する。
  論文  参考訳（メタデータ） (2024-05-13T08:32:22Z)
• Regression-aware Inference with LLMs [52.764328080398805]
  提案手法は,一般的な回帰と評価指標に準最適であることを示す。 本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
  論文  参考訳（メタデータ） (2024-03-07T03:24:34Z)
• Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
  近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。 この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-02-03T13:35:39Z)
• Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
  分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。 我々は,分布保証が消えることを示し,推定分布が急速に崩壊して平均推定値が崩壊することを実証的に観察する。 提案手法は,$L$の学習効率を生かして,返却分布の予測値と量子化値とを協調的に学習し,返却分布の完全な分布を推定し,効率的な学習を可能にするものである。
  論文  参考訳（メタデータ） (2023-05-26T12:30:05Z)
• Refining Amortized Posterior Approximations using Gradient-Based Summary Statistics [0.9176056742068814]
  逆問題の文脈における後部分布の補正近似を改善するための反復的枠組みを提案する。 そこで我々は,本手法をスタイリング問題に適用して制御条件で検証し,改良された後部近似を各繰り返しで観察する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:19Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Variational Inference for Bayesian Bridge Regression [0.0]
  橋梁のペナル化を伴う回帰モデルに対するベイズ推定のための自動微分変分推論(ADVI)の実装について検討する。 ブリッジアプローチは $ell_alpha$ norm を使い、回帰係数の大きな値に対するペナル化を定義するために $alpha in (0, +infty)$ を用いる。 B-スプラインを持つ非パラメトリック回帰モデルに対するアプローチについて説明するが、この手法は基底関数の他の選択に対してシームレスに機能する。
  論文  参考訳（メタデータ） (2022-05-19T12:29:09Z)
• Human Pose Regression with Residual Log-likelihood Estimation [48.30425850653223]
  本稿では,Residual Log-likelihood Estimation (RLE) を用いた新たな回帰パラダイムを提案する。 RLEは、トレーニングプロセスを容易にするために、未参照の基盤となる分布ではなく、分布の変化を学習する。 従来の回帰パラダイムと比較して、RLEによる回帰はテスト時間オーバーヘッドを伴わずに、MSCOCOに12.4mAPの改善をもたらす。
  論文  参考訳（メタデータ） (2021-07-23T15:06:31Z)
• The Reciprocal Bayesian LASSO [0.0]
  我々は、線形回帰パラメータの rLASSO 推定をベイズ的後続モード推定として解釈できるという観測に基づいて、rLASSO 問題の完全なベイズ的定式化を考える。 シミュレーションおよび実データについて、ベイズ式は、推定、予測、変数選択において、その古典的な従兄弟よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-23T01:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。