論文の概要: Variational Inference for Bayesian Bridge Regression

• arxiv url: http://arxiv.org/abs/2205.09515v1
• Date: Thu, 19 May 2022 12:29:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-21 01:06:13.886532
• Title: Variational Inference for Bayesian Bridge Regression
• Title（参考訳）: ベイジアンブリッジ回帰の変分推論
• Authors: Carlos Tadeu Pagani Zanini, Helio dos Santos Migon and Ronaldo Dias
• Abstract要約: 橋梁のペナル化を伴う回帰モデルに対するベイズ推定のための自動微分変分推論(ADVI)の実装について検討する。 ブリッジアプローチは $ell_alpha$ norm を使い、回帰係数の大きな値に対するペナル化を定義するために $alpha in (0, +infty)$ を用いる。 B-スプラインを持つ非パラメトリック回帰モデルに対するアプローチについて説明するが、この手法は基底関数の他の選択に対してシームレスに機能する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the implementation of Automatic Differentiation Variational inference (ADVI) for Bayesian inference on regression models with bridge penalization. The bridge approach uses $\ell_{\alpha}$ norm, with $\alpha \in (0, +\infty)$ to define a penalization on large values of the regression coefficients, which includes the Lasso ($\alpha = 1$) and ridge $(\alpha = 2)$ penalizations as special cases. Full Bayesian inference seamlessly provides joint uncertainty estimates for all model parameters. Although MCMC aproaches are available for bridge regression, it can be slow for large dataset, specially in high dimensions. The ADVI implementation allows the use of small batches of data at each iteration (due to stochastic gradient based algorithms), therefore speeding up computational time in comparison with MCMC. We illustrate the approach on non-parametric regression models with B-splines, although the method works seamlessly for other choices of basis functions. A simulation study shows the main properties of the proposed method.
• Abstract（参考訳）: 橋梁ペナル化を伴う回帰モデルに対するベイズ推定のための自動微分変分推論(ADVI)の実装について検討する。 ブリッジのアプローチでは、$\ell_{\alpha}$ normを使用し、特殊ケースとしてLasso$(\alpha = 1$)およびridge$(\alpha = 2)$ Penalizationsを含む回帰係数の大きな値に対するペナル化を定義するために$\alpha \in (0, +\infty)$を使用する。 完全ベイズ予想は、すべてのモデルパラメータに対してシームレスに共同不確実性推定を与える。 MCMCアパッチは橋梁の回帰には有効であるが、特に高次元の大規模なデータセットでは遅くなる可能性がある。 adviの実装では、各イテレーションで小さなバッチデータ(確率的勾配に基づくアルゴリズムによる)を使用できるため、mcmcと比較して計算時間を短縮できる。 B-スプラインを持つ非パラメトリック回帰モデルに対するアプローチについて説明するが、この方法は基底関数の他の選択に対してシームレスに機能する。 シミュレーション研究は,提案手法の主な特性を示す。

関連論文リスト

• Online and Offline Robust Multivariate Linear Regression [0.3277163122167433]
  提案手法は,オンライン勾配降下アルゴリズムと平均化バージョン,オフライン固定点アルゴリズムの2つである。 ノイズの分散行列は一般に未知であるため、マハラノビスに基づく勾配勾配アルゴリズムに頑健な推定をプラグインすることを提案する。
  論文  参考訳（メタデータ） (2024-04-30T12:30:48Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression [8.663322701649454]
  大規模多重回帰に対する新しい経験的ベイズ手法を提案する。 当社のアプローチでは、フレキシブルな"適応縮小"と変分近似の2つの主要なアイデアが組み合わさっている。 提案手法では, 後進平均値がペナル化回帰問題を解く。
  論文  参考訳（メタデータ） (2022-08-23T12:42:57Z)
• Easy Differentially Private Linear Regression [16.325734286930764]
  本研究では,指数関数機構を用いて,非プライベート回帰モデルの集合からタキー深度の高いモデルを選択するアルゴリズムについて検討する。 このアルゴリズムは、データリッチな設定において、強い経験的性能を得る。
  論文  参考訳（メタデータ） (2022-08-15T17:42:27Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Variational Bayesian Unlearning [54.26984662139516]
  本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。 消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。 VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
  論文  参考訳（メタデータ） (2020-10-24T11:53:00Z)
• Estimating Stochastic Linear Combination of Non-linear Regressions Efficiently and Scalably [23.372021234032363]
  サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。 私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
  論文  参考訳（メタデータ） (2020-10-19T07:15:38Z)
• Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
  本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。 実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
  論文  参考訳（メタデータ） (2020-07-05T18:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。