論文の概要: Sparse Bayesian Lasso via a Variable-Coefficient $\ell_1$ Penalty
- arxiv url: http://arxiv.org/abs/2211.05089v3
- Date: Fri, 12 May 2023 17:04:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 16:11:35.822789
- Title: Sparse Bayesian Lasso via a Variable-Coefficient $\ell_1$ Penalty
- Title(参考訳): 変数共効率$\ell_1$ペナルティによるスパースベイズラッソ
- Authors: Nathan Wycoff, Ali Arab, Katharine M. Donato and Lisa O. Singh
- Abstract要約: 学習可能なペナルティの重みを、ハイパープライアでlambda_p$と定義します。
我々は,この可変係数$ell_$ペナルティの理論的性質を,ペナル化可能性の文脈で検討した。
我々はスパースベイズ・ラッソと呼ばれるモデルを開発し、ラッソ回帰のような定性的な振る舞いを任意の変分モデルに適用することができる。
- 参考スコア(独自算出の注目度): 0.9176056742068814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern statistical learning algorithms are capable of amazing flexibility,
but struggle with interpretability. One possible solution is sparsity: making
inference such that many of the parameters are estimated as being identically
0, which may be imposed through the use of nonsmooth penalties such as the
$\ell_1$ penalty. However, the $\ell_1$ penalty introduces significant bias
when high sparsity is desired. In this article, we retain the $\ell_1$ penalty,
but define learnable penalty weights $\lambda_p$ endowed with hyperpriors. We
start the article by investigating the optimization problem this poses,
developing a proximal operator associated with the $\ell_1$ norm. We then study
the theoretical properties of this variable-coefficient $\ell_1$ penalty in the
context of penalized likelihood. Next, we investigate application of this
penalty to Variational Bayes, developing a model we call the Sparse Bayesian
Lasso which allows for behavior qualitatively like Lasso regression to be
applied to arbitrary variational models. In simulation studies, this gives us
the Uncertainty Quantification and low bias properties of simulation-based
approaches with an order of magnitude less computation. Finally, we apply our
methodology to a Bayesian lagged spatiotemporal regression model of internal
displacement that occurred during the Iraqi Civil War of 2013-2017.
- Abstract(参考訳): 現代の統計学習アルゴリズムは驚くほど柔軟性があるが、解釈に苦慮している。
多くのパラメータが同一に 0 と推定されるように推論すると、$\ell_1$ のペナルティのような非滑らかな刑罰が課せられる。
しかし、$\ell_1$ のペナルティは高いスパーシティが要求されるときに大きなバイアスをもたらす。
この記事では、$\ell_1$のペナルティを保ちながら、学習可能なペナルティ重みを$\lambda_p$と定義します。
この記事は、これが引き起こす最適化問題を調査し、$\ell_1$ノルムに関連付けられた近位演算子を開発することから始める。
次に,この変数共効率な$\ell_1$ペナルティの理論的性質をペナルティ化確率の文脈で研究する。
次に,このペナルティを変分ベイズに適用し,ラッソ回帰(lasso regression)のように定性的な振る舞いを任意の変分モデルに適用できる疎ベイズラッソ(sparse bayesian lasso)と呼ばれるモデルを開発した。
シミュレーション研究において、シミュレーションに基づくアプローチにおける不確かさの定量化と低バイアス特性を、桁違いに少ない計算で実現する。
最後に,2013-2017年のイラク内戦中に発生した内部変位のベイズラグ時空間回帰モデルに適用する。
関連論文リスト
- Untangling Lariats: Subgradient Following of Variationally Penalized Objectives [10.043139484808949]
我々は,この装置の特殊な場合として,溶質ラッソおよびイソトニックレグレッションの既知のアルゴリズムを導出する。
最後に,任意の畳み込みフィルタの出力によって特徴づけられる変分罰則に対する格子型下次解法を導出する。
論文 参考訳(メタデータ) (2024-05-07T23:08:24Z) - Variational Inference for Bayesian Bridge Regression [0.0]
橋梁のペナル化を伴う回帰モデルに対するベイズ推定のための自動微分変分推論(ADVI)の実装について検討する。
ブリッジアプローチは $ell_alpha$ norm を使い、回帰係数の大きな値に対するペナル化を定義するために $alpha in (0, +infty)$ を用いる。
B-スプラインを持つ非パラメトリック回帰モデルに対するアプローチについて説明するが、この手法は基底関数の他の選択に対してシームレスに機能する。
論文 参考訳(メタデータ) (2022-05-19T12:29:09Z) - More Optimal Simulation of Universal Quantum Computers [0.0]
最悪のサンプリングコストは$le(2+sqrt2)xi_t delta-1$であり、$t rightarrow infty$である。
我々は、この68倍のプレファクタを、相関サンプリングにより$t$の先行値の低減により削減する。
論文 参考訳(メタデータ) (2022-02-02T19:00:03Z) - Do Differentiable Simulators Give Better Policy Gradients? [62.54538644503705]
剛性や不連続性などの物理系の特性が一階推定器の有効性を損なう可能性があることを示す。
さらに、[01]$に$alphaを持つ$alpha$-order gradient estimatorを提案し、これは正確な勾配を正しく利用し、一階推定の効率とゼロ階法の堅牢性を組み合わせる。
論文 参考訳(メタデータ) (2022-02-02T00:12:28Z) - ReLU Regression with Massart Noise [52.10842036932169]
本稿では、ReLU回帰の基本的問題として、Rectified Linear Units(ReLU)をデータに適合させることを目標としている。
我々は自然およびよく研究された半ランダムノイズモデルであるMassartノイズモデルにおけるReLU回帰に着目した。
このモデルにおいて,パラメータの正確な回復を実現する効率的なアルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-09-10T02:13:22Z) - Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。
我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。
我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
論文 参考訳(メタデータ) (2021-06-10T06:11:55Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳(メタデータ) (2021-06-07T17:44:49Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳(メタデータ) (2021-02-06T15:05:14Z) - Outlier-robust sparse/low-rank least-squares regression and robust
matrix completion [1.0878040851637998]
ヘテロジニアス雑音を伴う統計的学習フレームワークにおける高次元最小二乗回帰について検討する。
また, 製品プロセスの新たな応用に基づいて, 行列分解を伴う新しいトレーサリグレス理論を提案する。
論文 参考訳(メタデータ) (2020-12-12T07:42:47Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z) - The Trimmed Lasso: Sparse Recovery Guarantees and Practical Optimization
by the Generalized Soft-Min Penalty [14.85926834924458]
本稿では,古典ラッソと一般パターンを補間するスパース近似あるいは最良部分集合の解法を提案する。
我々は、一般的なソフトミンペナルティを計算するためにスパースタイムを導出する。
論文 参考訳(メタデータ) (2020-05-18T18:43:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。