論文の概要: Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
- arxiv url: http://arxiv.org/abs/2306.16838v6
- Date: Mon, 2 Sep 2024 09:54:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-04 22:44:54.637884
- Title: Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
- Title（参考訳）: 早期停止を伴う手指伸長による高速ロバストカーネル回帰
- Authors: Oskar Allerbo,
- Abstract要約: カーネルリッジ回帰(カーネルリッジ回帰、英: Kernel ridge regression、KRR)は、データにおいて非線形であるが、モデルパラメータでは線形である線形リッジ回帰の一般化である。
我々は、KRRの目的関数の等価な定式化を導入し、リッジペナルティを$ell_infty$と$ell_1$ペナルティに置き換えた。
- 参考スコア（独自算出の注目度）: 1.5229257192293204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Kernel ridge regression, KRR, is a generalization of linear ridge regression that is non-linear in the data, but linear in the model parameters. Here, we introduce an equivalent formulation of the objective function of KRR, which opens up both for replacing the ridge penalty with the $\ell_\infty$ and $\ell_1$ penalties and for studying kernel ridge regression from the perspective of gradient descent. Using the $\ell_\infty$ and $\ell_1$ penalties, we obtain robust and sparse kernel regression, respectively. We further study the similarities between explicitly regularized kernel regression and the solutions obtained by early stopping of iterative gradient-based methods, where we connect $\ell_\infty$ regularization to sign gradient descent, $\ell_1$ regularization to forward stagewise regression (also known as coordinate descent), and $\ell_2$ regularization to gradient descent, and, in the last case, theoretically bound for the differences. We exploit the close relations between $\ell_\infty$ regularization and sign gradient descent, and between $\ell_1$ regularization and coordinate descent to propose computationally efficient methods for robust and sparse kernel regression. We finally compare robust kernel regression through sign gradient descent to existing methods for robust kernel regression on five real data sets, demonstrating that our method is one to two orders of magnitude faster, without compromising accuracy.
- Abstract（参考訳）: カーネルリッジ回帰(カーネルリッジ回帰、英: Kernel ridge regression、KRR)は、データにおいて非線形であるが、モデルパラメータでは線形である線形リッジ回帰の一般化である。
ここでは、KRRの目的関数の等価な定式化を導入する。これは、リッジペナルティを$\ell_\infty$と$\ell_1$ペナルティに置き換えることと、勾配降下の観点からカーネルリッジ回帰を研究することである。
$\ell_\infty$ と $\ell_1$ のペナルティを用いて、それぞれ堅牢なカーネル回帰とスパースカーネル回帰を得る。
さらに、明示的に正規化されたカーネル回帰と反復勾配ベースの手法の早期停止によって得られる解との類似性について研究し、そこでは、符号勾配降下に$\ell_\infty$正規化と$\ell_1$正規化を前方段階回帰(座標降下としても知られる)に$\ell_1$正規化と、勾配降下に$\ell_2$正規化を接続し、最後のケースでは、その差に理論的に拘束される。
我々は、$\ell_\infty$正規化と符号勾配降下の関係、および$\ell_1$正規化と座標降下の関係を利用して、堅牢でスパースなカーネル回帰のための計算効率の良い手法を提案する。
最後に, 5つの実データに対して, 符号勾配勾配による堅牢なカーネル回帰を既存手法と比較し, 精度を損なうことなく, 提案手法が桁違いに高速であることを示す。
関連論文リスト
- Highly Adaptive Ridge [84.38107748875144]
直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。
Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。
我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
論文 参考訳（メタデータ） (2024-10-03T17:06:06Z) - Stochastic gradient descent for streaming linear and rectified linear
systems with Massart noise [9.841406613646813]
我々は,SGD-expを最大50%のMassart汚職率で真のパラメータにほぼ線形収束する新しい保証を示す。
これはストリーミング環境での堅牢なReLU回帰に対する初めての収束保証結果である。
論文 参考訳（メタデータ） (2024-03-02T12:45:01Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳（メタデータ） (2023-10-31T16:15:13Z) - Gradient Descent Converges Linearly for Logistic Regression on Separable
Data [17.60502131429094]
変動学習率による勾配勾配降下は損失$f(x) leq 1.1 cdot f(x*) + epsilon$ロジスティック回帰目標を示す。
また、ロジスティックなレグレッションを緩やかなレグレッションに適用し、スペルシ・エラーのトレードオフを指数関数的に改善する。
論文 参考訳（メタデータ） (2023-06-26T02:15:26Z) - Near Optimal Private and Robust Linear Regression [47.2888113094367]
本稿では,2つのアルゴリズムを改良したDP-SGDアルゴリズムを提案する。
ラベル破壊の下では、これは$(varepsilon,delta)$-DPとロバスト性の両方を保証する最初の効率的な線形回帰アルゴリズムである。
論文 参考訳（メタデータ） (2023-01-30T20:33:26Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳（メタデータ） (2021-06-28T00:17:01Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - A Bregman Method for Structure Learning on Sparse Directed Acyclic
Graphs [84.7328507118758]
構造学習のためのBregman近位勾配法を開発した。
高い非線形反復に対する曲率の影響を計測する。
様々な合成および実集合上で本手法をテストする。
論文 参考訳（メタデータ） (2020-11-05T11:37:44Z) - Early stopping and polynomial smoothing in regression with reproducing kernels [2.0411082897313984]
再生カーネルヒルベルト空間(RKHS)における反復学習アルゴリズムの早期停止問題について検討する。
本稿では,いわゆる最小不一致原理に基づく検証セットを使わずに早期停止を行うデータ駆動型ルールを提案する。
提案したルールは、異なるタイプのカーネル空間に対して、ミニマックス最適であることが証明されている。
論文 参考訳（メタデータ） (2020-07-14T05:27:18Z) - Optimal Rates of Distributed Regression with Imperfect Kernels [0.0]
本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。
ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
論文 参考訳（メタデータ） (2020-06-30T13:00:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。