論文の概要: Nearly Optimal Variational Inference for High Dimensional Regression with Shrinkage Priors

• arxiv url: http://arxiv.org/abs/2010.12887v1
• Date: Sat, 24 Oct 2020 12:10:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 12:35:56.183930
• Title: Nearly Optimal Variational Inference for High Dimensional Regression with Shrinkage Priors
• Title（参考訳）: 収縮前の高次元回帰に対するほぼ最適変分推定法
• Authors: Jincheng Bai, Qifan Song, Guang Cheng
• Abstract要約: 本稿では,重み付きテール縮小前の高次元線形モデル推論のための変分ベイズ法を提案する。 先行仕様の適切な選択の下では、VB後部の収縮率はほぼ最適であることを示す。 これはマルコフ・チェイン・モンテカルロサンプリングの代替としてVB推論の有効性を正当化する。
• 参考スコア（独自算出の注目度）: 20.294908538266867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a variational Bayesian (VB) procedure for high-dimensional linear model inferences with heavy tail shrinkage priors, such as student-t prior. Theoretically, we establish the consistency of the proposed VB method and prove that under the proper choice of prior specifications, the contraction rate of the VB posterior is nearly optimal. It justifies the validity of VB inference as an alternative of Markov Chain Monte Carlo (MCMC) sampling. Meanwhile, comparing to conventional MCMC methods, the VB procedure achieves much higher computational efficiency, which greatly alleviates the computing burden for modern machine learning applications such as massive data analysis. Through numerical studies, we demonstrate that the proposed VB method leads to shorter computing time, higher estimation accuracy, and lower variable selection error than competitive sparse Bayesian methods.
• Abstract（参考訳）: そこで本研究では,student-t prior のような重くテール収縮した高次元線形モデル推論のための変分ベイズ法を提案する。 理論的には、提案するvb法の一貫性を確立し、事前仕様の適切な選択の下でvb後方の収縮速度がほぼ最適であることを示す。 これは、マルコフ連鎖モンテカルロ(mcmc)サンプリングの代替としてvb推論の有効性を正当化する。 一方、従来のMCMC法と比較すると、VB法は計算効率が大幅に向上し、大規模データ解析のような現代の機械学習アプリケーションにおける計算負担を大幅に軽減する。 数値解析により,提案手法は,競合するスパースベイズ法よりも計算時間の短縮,推定精度の向上,変数選択誤差の低減につながることを示した。

関連論文リスト

• Bayesian Online Natural Gradient (BONG) [9.800443064368467]
  変分ベイズ(VB)に基づく逐次ベイズ推論への新しいアプローチを提案する。 重要な洞察は、オンライン環境では、前もって正規化するためにKLという用語を追加する必要はありません。 提案手法は,非共役条件下での他のオンラインVB手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-30T04:27:36Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Towards Practical Preferential Bayesian Optimization with Skew Gaussian Processes [8.198195852439946]
  本稿では,信頼度が2対比較に限定される優先ベイズ最適化(BO)について検討する。 優越性BOの重要な課題は、優越性ガウス過程(GP)モデルを用いてフレキシブルな選好構造を表現することである。 本研究では,高い計算効率と低いサンプル複雑性を両立させる新しい手法を開発し,その効果を広範囲な数値実験により実証する。
  論文  参考訳（メタデータ） (2023-02-03T03:02:38Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• A Framework for Improving the Reliability of Black-box Variational Inference [9.621959865172549]
  Black-box Variational Inference (BBVI)は、機械学習と統計学で広く使われている。 本稿では,BBVI最適化の信頼性向上のためのフレームワークであるRobust and Automated Black-box VI (RABVI)を提案する。 RABVIは、厳格に正当化された自動化技術に基づいており、少数の直感的なチューニングパラメータを含み、最適な変分近似の不正確な推定を検出する。
  論文  参考訳（メタデータ） (2022-03-29T23:05:40Z)
• Spike and slab variational Bayes for high dimensional logistic regression [5.371337604556311]
  変分ベイズ (VB) は、マルコフ連鎖モンテカルロのベイズ推定に対するスケーラブルな代替品として人気がある。 VB は $ell$ と sparse truth の予測損失の両方において漸近的でない理論的保証を提供する。 数値解析により,一般的なスパースVB手法によるVBアルゴリズムの性能向上を確認した。
  論文  参考訳（メタデータ） (2020-10-22T12:49:58Z)
• Fast Bayesian Estimation of Spatial Count Data Models [0.0]
  シミュレーション問題ではなく最適化問題として変分ベイズ(VB)を導入する。 VB法は、観測されていないパラメータと空間依存性を持つ負二項モデルにおける後部推論のために導出される。 VBアプローチは、シミュレーションと経験的研究において、通常の8コアプロセッサ上でのMCMCの約45倍から50倍高速である。
  論文  参考訳（メタデータ） (2020-07-07T10:24:45Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Adaptive Learning of the Optimal Batch Size of SGD [52.50880550357175]
  本稿では,その繰り返しを通じて最適なバッチサイズを適応的に学習し,凸度と滑らかな関数を求める手法を提案する。 実験では、合成データと実データを用いて、ほぼ最適な振る舞いを示す。 我々は,本手法を分散実装に適したサンプリングを含む,文献上考慮されていないいくつかの新しいバッチ戦略に一般化する。
  論文  参考訳（メタデータ） (2020-05-03T14:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。