Fugu-MT 論文翻訳(概要): Spike and slab variational Bayes for high dimensional logistic regression

論文の概要: Spike and slab variational Bayes for high dimensional logistic regression

arxiv url: http://arxiv.org/abs/2010.11665v2
Date: Mon, 6 Sep 2021 14:00:47 GMT
ステータス: 処理完了
システム内更新日: 2022-10-04 06:23:05.410488
Title: Spike and slab variational Bayes for high dimensional logistic regression
Title（参考訳）: 高次元ロジスティック回帰のためのスパイクとスラブ変動ベイズ
Authors: Kolyan Ray, Botond Szabo, Gabriel Clara
Abstract要約: 変分ベイズ (VB) は、マルコフ連鎖モンテカルロのベイズ推定に対するスケーラブルな代替品として人気がある。 VB は $ell$ と sparse truth の予測損失の両方において漸近的でない理論的保証を提供する。数値解析により,一般的なスパースVB手法によるVBアルゴリズムの性能向上を確認した。
参考スコア（独自算出の注目度）: 5.371337604556311
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Variational Bayes (VB) is a popular scalable alternative to Markov chain Monte Carlo for Bayesian inference. We study a mean-field spike and slab VB approximation of widely used Bayesian model selection priors in sparse high-dimensional logistic regression. We provide non-asymptotic theoretical guarantees for the VB posterior in both $\ell_2$ and prediction loss for a sparse truth, giving optimal (minimax) convergence rates. Since the VB algorithm does not depend on the unknown truth to achieve optimality, our results shed light on effective prior choices. We confirm the improved performance of our VB algorithm over common sparse VB approaches in a numerical study.
Abstract（参考訳）: variational bayes (vb) は、マルコフ連鎖モンテカルロに代わるベイズ推定のためのスケーラブルな代替品である。疎度な高次元ロジスティック回帰におけるベイズモデル選択における平均場スパイクとスラブVB近似について検討した。我々は,$\ell_2$ と sparse truth の両方における vb 後方の非漸近的理論的保証を提供し,最適収束率(最小収束率)を与える。 VBアルゴリズムは、最適性を達成するために未知の真実に依存しないので、我々の結果は有効な事前選択に光を当てた。数値解析により,一般的なスパースVB手法によるVBアルゴリズムの性能向上を確認した。

関連論文リスト

Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。提案手法はRパッケージプローブに実装されている。
論文参考訳（メタデータ） (2022-09-16T19:15:50Z)
SimLDA: A tool for topic model evaluation [2.6397379133308214]
本稿では,LDA(Latent Dirichlet Allocation)に適用した新しい変分メッセージパッシングアルゴリズムを提案する。金の標準VBとGibsサンプリングアルゴリズムを比較検討した。コヒーレンス測度を用いて、ALBUは、特に小さなデータセットに対して、VBよりも正確な潜伏分布を学習することを示す。
論文参考訳（メタデータ） (2022-08-19T12:25:53Z)
Variational Inference for Bayesian Bridge Regression [0.0]
橋梁のペナル化を伴う回帰モデルに対するベイズ推定のための自動微分変分推論(ADVI)の実装について検討する。ブリッジアプローチは $ell_alpha$ norm を使い、回帰係数の大きな値に対するペナル化を定義するために $alpha in (0, +infty)$ を用いる。 B-スプラインを持つ非パラメトリック回帰モデルに対するアプローチについて説明するが、この手法は基底関数の他の選択に対してシームレスに機能する。
論文参考訳（メタデータ） (2022-05-19T12:29:09Z)
Adapting to Misspecification in Contextual Bandits [82.55565343668246]
我々は、$varepsilon$-misspecified contextual banditsに対して、新しいオラクル効率アルゴリズム群を導入する。我々は、未知の不特定値に対して最適な$O(dsqrtT + varepsilonsqrtdT)$ regret boundを達成する最初のアルゴリズムを得る。
論文参考訳（メタデータ） (2021-07-12T21:30:41Z)
Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文参考訳（メタデータ） (2021-06-07T17:44:49Z)
Nearly Optimal Variational Inference for High Dimensional Regression with Shrinkage Priors [20.294908538266867]
本稿では,重み付きテール縮小前の高次元線形モデル推論のための変分ベイズ法を提案する。先行仕様の適切な選択の下では、VB後部の収縮率はほぼ最適であることを示す。これはマルコフ・チェイン・モンテカルロサンプリングの代替としてVB推論の有効性を正当化する。
論文参考訳（メタデータ） (2020-10-24T12:10:27Z)
Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文参考訳（メタデータ） (2020-08-19T12:35:55Z)
The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes [1.827510863075184]
このチュートリアルは、オリジナルのFMRIB Variational Bayesチュートリアルを再考する。この新しいアプローチは、機械学習アルゴリズムに適用された計算方法に多くの類似性を持ち、恩恵を受けている。
論文参考訳（メタデータ） (2020-07-03T11:31:52Z)
Statistical Foundation of Variational Bayes Neural Networks [0.456877715768796]
変分ベイズ(VB)は、真の後部からのサンプルの生成に伴う計算コストと時間の複雑さを回避するための有用な代替手段を提供する。本稿では, フィードフォワード人工ニューラルネットワークモデルにおける平均場変動後部(VP)の後方整合性の基本的結果について述べる。
論文参考訳（メタデータ） (2020-06-29T03:04:18Z)
On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective [58.33065918353532]
我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。 LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
論文参考訳（メタデータ） (2020-05-03T00:58:23Z)
Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。