論文の概要: Sparse Bayesian Learning via Stepwise Regression
- arxiv url: http://arxiv.org/abs/2106.06095v1
- Date: Fri, 11 Jun 2021 00:20:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-14 14:20:17.972089
- Title: Sparse Bayesian Learning via Stepwise Regression
- Title(参考訳): ステップワイド回帰によるスパースベイズ学習
- Authors: Sebastian Ament and Carla Gomes
- Abstract要約: 我々は、RMP(Relevance Matching Pursuit)と呼ばれるSBLのための座標加算アルゴリズムを提案する。
ノイズ分散パラメータがゼロになるにつれて、RMPはステップワイド回帰と驚くべき関係を示す。
ステップワイド回帰アルゴリズムの新たな保証を導き、RMPにも光を当てる。
- 参考スコア(独自算出の注目度): 1.2691047660244335
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse Bayesian Learning (SBL) is a powerful framework for attaining sparsity
in probabilistic models. Herein, we propose a coordinate ascent algorithm for
SBL termed Relevance Matching Pursuit (RMP) and show that, as its noise
variance parameter goes to zero, RMP exhibits a surprising connection to
Stepwise Regression. Further, we derive novel guarantees for Stepwise
Regression algorithms, which also shed light on RMP. Our guarantees for Forward
Regression improve on deterministic and probabilistic results for Orthogonal
Matching Pursuit with noise. Our analysis of Backward Regression on determined
systems culminates in a bound on the residual of the optimal solution to the
subset selection problem that, if satisfied, guarantees the optimality of the
result. To our knowledge, this bound is the first that can be computed in
polynomial time and depends chiefly on the smallest singular value of the
matrix. We report numerical experiments using a variety of feature selection
algorithms. Notably, RMP and its limiting variant are both efficient and
maintain strong performance with correlated features.
- Abstract(参考訳): SBL(Sparse Bayesian Learning)は確率モデルにおける疎性を達成するための強力なフレームワークである。
本稿では,sblの相関マッチング追跡(rmp)と呼ばれる座標アセンシングアルゴリズムを提案し,ノイズ分散パラメータがゼロとなると,rmpが段階的回帰と驚くほどの相関を示すことを示す。
さらに、RMPにも光を当てるステップワイド回帰アルゴリズムの新たな保証を導出する。
前方回帰の保証は, 雑音と直交追従する決定論的, 確率的結果を改善する。
決定された系上での逆回帰の解析は、もし満足すれば結果の最適性を保証する部分集合選択問題に対する最適解の残差に結束する。
我々の知る限り、この境界は多項式時間で計算できる最初のものであり、行列の最小特異値に大きく依存する。
種々の特徴選択アルゴリズムを用いた数値実験を報告する。
特に、RMPとその制限変数は効率的であり、相関した特徴を持つ強い性能を維持している。
関連論文リスト
- A randomized algorithm to solve reduced rank operator regression [27.513149895229837]
本稿では,無限次元入力空間と出力空間を含むベクトル値回帰問題に対処するアルゴリズムを提案し,解析する。
このアルゴリズムは低ランクベクトル値関数を最適に学習する手法である低ランク回帰のランダム適応である。
論文 参考訳(メタデータ) (2023-12-28T20:29:59Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient
Kernels [60.35011738807833]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は、ベンチマークODEとPDE発見タスクのリストにおいて、KBASSの顕著な利点を示す。
論文 参考訳(メタデータ) (2023-10-09T03:55:09Z) - OKRidge: Scalable Optimal k-Sparse Ridge Regression [21.17964202317435]
スパースリッジ回帰のための高速アルゴリズムOKRidgeを提案する。
また,ビームサーチを利用した解法を温める方法を提案する。
論文 参考訳(メタデータ) (2023-04-13T17:34:44Z) - Sharp Variance-Dependent Bounds in Reinforcement Learning: Best of Both
Worlds in Stochastic and Deterministic Environments [48.96971760679639]
マルコフ決定過程(MDP)の分散依存的後悔境界について検討する。
環境の微細な分散特性を特徴付けるための2つの新しい環境規範を提案する。
モデルに基づく手法では、MVPアルゴリズムの変種を設計する。
特に、この境界は極小かつ決定論的 MDP に対して同時に最適である。
論文 参考訳(メタデータ) (2023-01-31T06:54:06Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Uniform-PAC Bounds for Reinforcement Learning with Linear Function
Approximation [92.3161051419884]
線形関数近似を用いた強化学習について検討する。
既存のアルゴリズムは、高い確率的後悔と/またはおよそ正当性(PAC)サンプルの複雑さの保証しか持たない。
我々はFLUTEと呼ばれる新しいアルゴリズムを提案し、高い確率で最適ポリシーへの均一PAC収束を享受する。
論文 参考訳(メタデータ) (2021-06-22T08:48:56Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Piecewise linear regression and classification [0.20305676256390928]
本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。
本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
論文 参考訳(メタデータ) (2021-03-10T17:07:57Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳(メタデータ) (2020-09-28T15:22:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。