論文の概要: Fractional ridge regression: a fast, interpretable reparameterization of
ridge regression
- arxiv url: http://arxiv.org/abs/2005.03220v1
- Date: Thu, 7 May 2020 03:12:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 22:57:23.197766
- Title: Fractional ridge regression: a fast, interpretable reparameterization of
ridge regression
- Title(参考訳): フラクショナルリッジ回帰 : 高速かつ解釈可能なリッジ回帰の再パラメータ化
- Authors: Ariel Rokem, Kendrick Kay
- Abstract要約: リッジ回帰(RR)は、線形回帰における係数のL2-ノルムをペナライズする正規化手法である。
我々は、FRRを解くアルゴリズムと、Pythonのオープンソースソフトウェア実装を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ridge regression (RR) is a regularization technique that penalizes the
L2-norm of the coefficients in linear regression. One of the challenges of
using RR is the need to set a hyperparameter ($\alpha$) that controls the
amount of regularization. Cross-validation is typically used to select the best
$\alpha$ from a set of candidates. However, efficient and appropriate selection
of $\alpha$ can be challenging, particularly where large amounts of data are
analyzed. Because the selected $\alpha$ depends on the scale of the data and
predictors, it is not straightforwardly interpretable. Here, we propose to
reparameterize RR in terms of the ratio $\gamma$ between the L2-norms of the
regularized and unregularized coefficients. This approach, called fractional RR
(FRR), has several benefits: the solutions obtained for different $\gamma$ are
guaranteed to vary, guarding against wasted calculations, and automatically
span the relevant range of regularization, avoiding the need for arduous manual
exploration. We provide an algorithm to solve FRR, as well as open-source
software implementations in Python and MATLAB
(https://github.com/nrdg/fracridge). We show that the proposed method is fast
and scalable for large-scale data problems, and delivers results that are
straightforward to interpret and compare across models and datasets.
- Abstract(参考訳): ridge regression (rr) は線形回帰における係数の l2-ノルムをペナライズする正規化技法である。
RRを使用する際の課題の1つは、正規化の量を制御するハイパーパラメータ($\alpha$)を設定する必要があることである。
クロスバリデーションは通常、候補から最高の$\alpha$を選択するために使われる。
しかし、特に大量のデータが分析される場合、$\alpha$の効率的かつ適切な選択は困難である。
選択された$\alpha$ はデータと予測器の規模に依存するため、簡単には解釈できない。
ここでは正規化係数と非正規化係数の l2-ノルム間の比 $\gamma$ でrrを再パラメータ化する。
FRR ( fractional RR) と呼ばれるこのアプローチにはいくつかの利点がある: 異なる$\gamma$ に対して得られる解は変化することが保証され、無駄な計算を防ぎ、関連する正規化の範囲を自動的に分散し、厳しい手作業による探索を避ける。
我々は、FRRを解くアルゴリズムと、PythonとMATLAB(https://github.com/nrdg/fracridge)のオープンソースソフトウェア実装を提供する。
提案手法は大規模データ問題に対して高速かつスケーラブルであることを示し,モデルとデータセット間で簡単に解釈および比較できる結果を提供する。
関連論文リスト
- Bayes beats Cross Validation: Efficient and Accurate Ridge Regression
via Expectation Maximization [3.061662434597098]
本稿では,正規化ハイパーパラメータである$lambda$について,LOOCV(Left-out-out Cross-validation)よりも高速に計算できる手法を提案する。
提案手法は,比較的穏やかな条件下で,十分大きな$n$に対して,一意の最適解を求めることが保証されている。
論文 参考訳(メタデータ) (2023-10-29T01:13:55Z) - Hardness and Algorithms for Robust and Sparse Optimization [17.842787715567436]
スパース線形回帰やロバスト線形回帰といったスパース最適化問題に対するアルゴリズムと制限について検討する。
具体的には、スパース線型回帰問題は$k$-スパースベクトル$xinmathbbRd$を求め、$|Ax-b|$を最小化する。
頑健な線形回帰問題は、少なくとも$k$行を無視する集合$S$と、$|(Ax-b)_S|$を最小化するベクトル$x$を求める。
論文 参考訳(メタデータ) (2022-06-29T01:40:38Z) - Efficient and robust high-dimensional sparse logistic regression via
nonlinear primal-dual hybrid gradient algorithms [0.0]
弾性ネットペナルティによって正規化されるロジスティック回帰問題に対する解を確実に計算する反復アルゴリズムを提案する。
この結果は、一階最適化法に対して$O(min(m2n,mn2)log (1/epsilon))$の既知の複雑性境界を改善する。
論文 参考訳(メタデータ) (2021-11-30T14:16:48Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳(メタデータ) (2021-08-23T21:03:09Z) - Robust Kernel-based Distribution Regression [13.426195476348955]
2段階のサンプリングを含む分布回帰(DR)を研究し、ヒルベルト空間(RKHS)を再現するカーネル上での確率測度から実値応答への回帰を目指す。
2段階サンプリング問題に対するロバストロス関数$l_sigma$の導入により,新たなロバスト分布回帰(RDR)スキームを提案する。
論文 参考訳(メタデータ) (2021-04-21T17:03:46Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳(メタデータ) (2021-02-06T15:05:14Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳(メタデータ) (2020-11-30T21:47:38Z) - Conditional Uncorrelation and Efficient Non-approximate Subset Selection
in Sparse Regression [72.84177488527398]
相関性の観点からスパース回帰を考察し,条件付き非相関式を提案する。
提案手法により、計算複雑性は、スパース回帰における各候補部分集合に対して$O(frac16k3+mk2+mkd)$から$O(frac16k3+frac12mk2)$に削減される。
論文 参考訳(メタデータ) (2020-09-08T20:32:26Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z) - Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。
近勾配法はOWL回帰を解くための標準手法として用いられる。
未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
論文 参考訳(メタデータ) (2020-06-29T23:35:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。