論文の概要: Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm

• arxiv url: http://arxiv.org/abs/2209.08139v4
• Date: Fri, 5 May 2023 16:39:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-08 17:30:35.803878
• Title: Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm
• Title（参考訳）: 分割型経験的ベイズECMアルゴリズムによる疎高次元線形回帰
• Authors: Alexander C. McLain, Anja Zgodic, and Howard Bondell
• Abstract要約: 疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian variable selection methods are powerful techniques for fitting and inferring on sparse high-dimensional linear regression models. However, many are computationally intensive or require restrictive prior distributions on model parameters. In this paper, we proposed a computationally efficient and powerful Bayesian approach for sparse high-dimensional linear regression. Minimal prior assumptions on the parameters are used through the use of plug-in empirical Bayes estimates of hyperparameters. Efficient maximum a posteriori (MAP) estimation is completed through a Parameter-Expanded Expectation-Conditional-Maximization (PX-ECM) algorithm. The PX-ECM results in a robust computationally efficient coordinate-wise optimization, which adjusts for the impact of other predictor variables. The completion of the E-step uses an approach motivated by the popular two-groups approach to multiple testing. The result is a PaRtitiOned empirical Bayes Ecm (PROBE) algorithm applied to sparse high-dimensional linear regression, which can be completed using one-at-a-time or all-at-once type optimization. We compare the empirical properties of PROBE to comparable approaches with numerous simulation studies and an analysis of cancer cell lines drug response study. The proposed approach is implemented in the R package probe.
• Abstract（参考訳）: ベイズ変数選択法はスパース高次元線形回帰モデルに適合し、推論するための強力な手法である。 しかし、多くは計算量が多いか、モデルパラメーター上の制限付き事前分布を必要とする。 本稿では,高次元線形回帰に対する計算効率と強力なベイズ法を提案する。 パラメータの最小の事前仮定は、ハイパーパラメータのプラグイン経験ベイズ推定を用いて使われる。 パラメータ拡張された期待条件最大化(px-ecm)アルゴリズムにより、効率的な最大後方推定(map)が完了する。 PX-ECMは、他の予測変数の影響を調節する、堅牢な計算効率の良い座標ワイズ最適化をもたらす。 Eステップの完成は、人気のある2グループアプローチによる複数のテストの動機付けによるアプローチを使用する。 その結果、PaRtiti Oned empirical Bayes Ecm (PROBE) アルゴリズムが高次元線形回帰に応用され、ワン・ア・ア・タイムあるいはオール・ア・ア・オンス型最適化を用いて完遂できる。 本研究は, 癌細胞株の薬物応答解析とシミュレーション研究を比較検討し, PROBEの実証的特性を比較検討した。 提案手法はRパッケージプローブに実装されている。

関連論文リスト

• Maximum a Posteriori Estimation for Linear Structural Dynamics Models Using Bayesian Optimization with Rational Polynomial Chaos Expansions [0.01578888899297715]
  本稿では,MAP推定のための既存のスパースベイズ学習手法の拡張を提案する。 ベイズ最適化手法を導入し,実験設計を適応的に強化する。 疎性誘導学習と実験設計を組み合わせることで,モデル評価の回数を効果的に削減する。
  論文  参考訳（メタデータ） (2024-08-07T06:11:37Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice [79.48432795639403]
  ミラー降下値反復(MDVI)は、KL(Kulback-Leibler)とRL(Entropy-regularized reinforcement learning)の抽象化である。 MDVIを線形関数近似を用いて研究し,$varepsilon$-optimal policyを同定するために必要なサンプル複雑性について検討した。 我々は,無限水平線形MDPに対して,最小限のサンプル複雑性を実現する最初の理論的アルゴリズムである分散重み付き最小二乗法MDVIを提案する。
  論文  参考訳（メタデータ） (2023-05-22T16:13:05Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
  本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。 我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
  論文  参考訳（メタデータ） (2021-06-06T15:38:37Z)
• Piecewise linear regression and classification [0.20305676256390928]
  本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。 本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
  論文  参考訳（メタデータ） (2021-03-10T17:07:57Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)
• Bayesian System ID: Optimal management of parameter, model, and measurement uncertainty [0.0]
  システム識別(ID)の確率的定式化の頑健さを,スパース,ノイズ,間接データに対して評価した。 従来手法の目的関数面と比較して,ログ後部は幾何学的特性が向上したことを示す。
  論文  参考訳（メタデータ） (2020-03-04T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。