論文の概要: Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm

• arxiv url: http://arxiv.org/abs/2209.08139v2
• Date: Tue, 20 Sep 2022 17:25:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 14:37:59.401549
• Title: Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm
• Title（参考訳）: 分割型経験的ベイズECMアルゴリズムによる疎高次元線形回帰
• Authors: Alexander C. McLain, Anja Zgodic, and Howard Bondell
• Abstract要約: 疎い高次元線形回帰に対する効率的かつ強力なアプローチを提案する。 最小の事前仮定は、プラグイン経験的ベイズ推定を用いて要求される。 提案手法はRパッケージプローブに実装されている。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian variable selection methods are powerful techniques for fitting and inferring on sparse high-dimensional linear regression models. However, many are computationally intensive or require restrictive prior distributions on model parameters. Likelihood based penalization methods are more computationally friendly, but resource intensive refitting techniques are needed for inference. In this paper, we proposed an efficient and powerful Bayesian approach for sparse high-dimensional linear regression. Minimal prior assumptions on the parameters are required through the use of plug-in empirical Bayes estimates of hyperparameters. Efficient maximum a posteriori probability (MAP) estimation is completed through the use of a partitioned and extended expectation conditional maximization (ECM) algorithm. The result is a PaRtitiOned empirical Bayes Ecm (PROBE) algorithm applied to sparse high-dimensional linear regression. We propose methods to estimate credible and prediction intervals for predictions of future values. We compare the empirical properties of predictions and our predictive inference to comparable approaches with numerous simulation studies and an analysis of cancer cell lines drug response study. The proposed approach is implemented in the R package probe.
• Abstract（参考訳）: ベイズ変数選択法はスパース高次元線形回帰モデルに適合し、推論するための強力な手法である。 しかし、多くは計算量が多いか、モデルパラメーター上の制限付き事前分布を必要とする。 確率に基づくペナリゼーション手法の方が計算にやさしいが、推論にはリソース集約的な再フィッティング技術が必要である。 本稿では,高次元線形回帰に対する効率的かつ強力なベイズ法を提案する。 パラメータの最小事前仮定は、ハイパーパラメータのプラグイン経験ベイズ推定を使用することで要求される。 分割および拡張予測条件の最大化(ECM)アルゴリズムを用いることで、効率的な最大後続確率推定(MAP)が完了する。 その結果、PaRtitiOned empirical Bayes Ecm (PROBE)アルゴリズムが、疎高次元線形回帰に応用された。 将来予測のための信頼度と予測間隔を推定する手法を提案する。 予測の実証的性質と予測的推論を、多数のシミュレーション研究と、がん細胞株の薬物応答分析と同等のアプローチと比較した。 提案手法はRパッケージプローブに実装されている。

関連論文リスト

• Maximum a Posteriori Estimation for Linear Structural Dynamics Models Using Bayesian Optimization with Rational Polynomial Chaos Expansions [0.01578888899297715]
  本稿では,MAP推定のための既存のスパースベイズ学習手法の拡張を提案する。 ベイズ最適化手法を導入し,実験設計を適応的に強化する。 疎性誘導学習と実験設計を組み合わせることで,モデル評価の回数を効果的に削減する。
  論文  参考訳（メタデータ） (2024-08-07T06:11:37Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice [79.48432795639403]
  ミラー降下値反復(MDVI)は、KL(Kulback-Leibler)とRL(Entropy-regularized reinforcement learning)の抽象化である。 MDVIを線形関数近似を用いて研究し,$varepsilon$-optimal policyを同定するために必要なサンプル複雑性について検討した。 我々は,無限水平線形MDPに対して,最小限のサンプル複雑性を実現する最初の理論的アルゴリズムである分散重み付き最小二乗法MDVIを提案する。
  論文  参考訳（メタデータ） (2023-05-22T16:13:05Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
  本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。 我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
  論文  参考訳（メタデータ） (2021-06-06T15:38:37Z)
• Piecewise linear regression and classification [0.20305676256390928]
  本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。 本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
  論文  参考訳（メタデータ） (2021-03-10T17:07:57Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)
• Bayesian System ID: Optimal management of parameter, model, and measurement uncertainty [0.0]
  システム識別(ID)の確率的定式化の頑健さを,スパース,ノイズ,間接データに対して評価した。 従来手法の目的関数面と比較して,ログ後部は幾何学的特性が向上したことを示す。
  論文  参考訳（メタデータ） (2020-03-04T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。