論文の概要: Fractional ridge regression: a fast, interpretable reparameterization of
ridge regression
- arxiv url: http://arxiv.org/abs/2005.03220v1
- Date: Thu, 7 May 2020 03:12:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 22:57:23.197766
- Title: Fractional ridge regression: a fast, interpretable reparameterization of
ridge regression
- Title（参考訳）: フラクショナルリッジ回帰 : 高速かつ解釈可能なリッジ回帰の再パラメータ化
- Authors: Ariel Rokem, Kendrick Kay
- Abstract要約: リッジ回帰(RR)は、線形回帰における係数のL2-ノルムをペナライズする正規化手法である。
我々は、FRRを解くアルゴリズムと、Pythonのオープンソースソフトウェア実装を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ridge regression (RR) is a regularization technique that penalizes the
L2-norm of the coefficients in linear regression. One of the challenges of
using RR is the need to set a hyperparameter ($\alpha$) that controls the
amount of regularization. Cross-validation is typically used to select the best
$\alpha$ from a set of candidates. However, efficient and appropriate selection
of $\alpha$ can be challenging, particularly where large amounts of data are
analyzed. Because the selected $\alpha$ depends on the scale of the data and
predictors, it is not straightforwardly interpretable. Here, we propose to
reparameterize RR in terms of the ratio $\gamma$ between the L2-norms of the
regularized and unregularized coefficients. This approach, called fractional RR
(FRR), has several benefits: the solutions obtained for different $\gamma$ are
guaranteed to vary, guarding against wasted calculations, and automatically
span the relevant range of regularization, avoiding the need for arduous manual
exploration. We provide an algorithm to solve FRR, as well as open-source
software implementations in Python and MATLAB
(https://github.com/nrdg/fracridge). We show that the proposed method is fast
and scalable for large-scale data problems, and delivers results that are
straightforward to interpret and compare across models and datasets.
- Abstract（参考訳）: ridge regression (rr) は線形回帰における係数の l2-ノルムをペナライズする正規化技法である。
RRを使用する際の課題の1つは、正規化の量を制御するハイパーパラメータ($\alpha$)を設定する必要があることである。
クロスバリデーションは通常、候補から最高の$\alpha$を選択するために使われる。
しかし、特に大量のデータが分析される場合、$\alpha$の効率的かつ適切な選択は困難である。
選択された$\alpha$ はデータと予測器の規模に依存するため、簡単には解釈できない。
ここでは正規化係数と非正規化係数の l2-ノルム間の比 $\gamma$ でrrを再パラメータ化する。
FRR ( fractional RR) と呼ばれるこのアプローチにはいくつかの利点がある: 異なる$\gamma$ に対して得られる解は変化することが保証され、無駄な計算を防ぎ、関連する正規化の範囲を自動的に分散し、厳しい手作業による探索を避ける。
我々は、FRRを解くアルゴリズムと、PythonとMATLAB(https://github.com/nrdg/fracridge)のオープンソースソフトウェア実装を提供する。
提案手法は大規模データ問題に対して高速かつスケーラブルであることを示し,モデルとデータセット間で簡単に解釈および比較できる結果を提供する。
関連論文リスト
- Highly Adaptive Ridge [84.38107748875144]
直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。
Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。
我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
論文 参考訳（メタデータ） (2024-10-03T17:06:06Z) - LFFR: Logistic Function For (single-output) Regression [0.0]
完全同型暗号方式で暗号化されたデータを用いたプライバシー保護型回帰トレーニングを実装した。
我々は,ロジスティック関数を用いたホモモルフィック回帰のための新しい,効率的なアルゴリズムLFFRを開発した。
論文 参考訳（メタデータ） (2024-07-13T17:33:49Z) - Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。
我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。
大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
論文 参考訳（メタデータ） (2024-06-21T18:06:30Z) - Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Bayes beats Cross Validation: Efficient and Accurate Ridge Regression
via Expectation Maximization [3.061662434597098]
本稿では,正規化ハイパーパラメータである$lambda$について,LOOCV(Left-out-out Cross-validation)よりも高速に計算できる手法を提案する。
提案手法は,比較的穏やかな条件下で,十分大きな$n$に対して,一意の最適解を求めることが保証されている。
論文 参考訳（メタデータ） (2023-10-29T01:13:55Z) - Hardness and Algorithms for Robust and Sparse Optimization [17.842787715567436]
スパース線形回帰やロバスト線形回帰といったスパース最適化問題に対するアルゴリズムと制限について検討する。
具体的には、スパース線型回帰問題は$k$-スパースベクトル$xinmathbbRd$を求め、$|Ax-b|$を最小化する。
頑健な線形回帰問題は、少なくとも$k$行を無視する集合$S$と、$|(Ax-b)_S|$を最小化するベクトル$x$を求める。
論文 参考訳（メタデータ） (2022-06-29T01:40:38Z) - Efficient and robust high-dimensional sparse logistic regression via
nonlinear primal-dual hybrid gradient algorithms [0.0]
弾性ネットペナルティによって正規化されるロジスティック回帰問題に対する解を確実に計算する反復アルゴリズムを提案する。
この結果は、一階最適化法に対して$O(min(m2n,mn2)log (1/epsilon))$の既知の複雑性境界を改善する。
論文 参考訳（メタデータ） (2021-11-30T14:16:48Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳（メタデータ） (2020-11-30T21:47:38Z) - Conditional Uncorrelation and Efficient Non-approximate Subset Selection
in Sparse Regression [72.84177488527398]
相関性の観点からスパース回帰を考察し,条件付き非相関式を提案する。
提案手法により、計算複雑性は、スパース回帰における各候補部分集合に対して$O(frac16k3+mk2+mkd)$から$O(frac16k3+frac12mk2)$に削減される。
論文 参考訳（メタデータ） (2020-09-08T20:32:26Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。