論文の概要: Solving Kernel Ridge Regression with Gradient-Based Optimization Methods
- arxiv url: http://arxiv.org/abs/2306.16838v1
- Date: Thu, 29 Jun 2023 10:29:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 13:46:36.775789
- Title: Solving Kernel Ridge Regression with Gradient-Based Optimization Methods
- Title(参考訳): 勾配最適化法によるカーネルリッジ回帰の解法
- Authors: Oskar Allerbo, Rebecka J\"ornsten
- Abstract要約: 我々は,KRRの目的関数の等価な定式化を導入する。
我々は、これらの罰則、およびそれに対応する勾配に基づく最適化アルゴリズムが、信号駆動型かつロバストな回帰解を生成する方法を理論的、実証的に示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Kernel ridge regression, KRR, is a non-linear generalization of linear ridge
regression. Here, we introduce an equivalent formulation of the objective
function of KRR, opening up both for using other penalties than the ridge
penalty and for studying kernel ridge regression from the perspective of
gradient descent. Using a continuous-time perspective, we derive a closed-form
solution, kernel gradient flow, KGF, with regularization through early
stopping, which allows us to theoretically bound the differences between KGF
and KRR. We generalize KRR by replacing the ridge penalty with the $\ell_1$ and
$\ell_\infty$ penalties and utilize the fact that analogously to the
similarities between KGF and KRR, the solutions obtained when using these
penalties are very similar to those obtained from forward stagewise regression
(also known as coordinate descent) and sign gradient descent in combination
with early stopping. Thus the need for computationally heavy proximal gradient
descent algorithms can be alleviated. We show theoretically and empirically how
these penalties, and corresponding gradient-based optimization algorithms,
produce signal-driven and robust regression solutions, respectively. We also
investigate kernel gradient descent where the kernel is allowed to change
during training, and theoretically address the effects this has on
generalization. Based on our findings, we propose an update scheme for the
bandwidth of translational-invariant kernels, where we let the bandwidth
decrease to zero during training, thus circumventing the need for
hyper-parameter selection. We demonstrate on real and synthetic data how
decreasing the bandwidth during training outperforms using a constant
bandwidth, selected by cross-validation and marginal likelihood maximization.
We also show that using a decreasing bandwidth, we are able to achieve both
zero training error and a double descent behavior.
- Abstract(参考訳): カーネルリッジ回帰 (kernel ridge regression, krr) は線形リッジ回帰の非線形一般化である。
本稿では,krrの目的関数の等価な定式化について紹介し,リッジペナルティ以外のペナルティの使用と,勾配降下の観点からカーネルリッジ回帰の研究を両立させる。
連続時間の観点から、KGFとKRRの違いを理論的に拘束できるような、早期停止による正規化を伴う閉形式解、カーネル勾配流、KGFを導出する。
リッジペナルティを$\ell_1$と$\ell_\infty$ペナルティに置き換えることでKRRを一般化し、KGFとKRRの類似性と同様、これらのペナルティを用いて得られる解は、早期停止と組み合わせて前方回帰(座標降下)および符号勾配降下から得られるものと非常によく似ているという事実を利用する。
したがって、計算的に重い近位勾配勾配アルゴリズムの必要性が軽減される。
これらの罰則とそれに対応する勾配に基づく最適化アルゴリズムは,それぞれ信号駆動型およびロバスト回帰解を生成する。
また、カーネルがトレーニング中に変化することを許すカーネル勾配勾配について検討し、これが一般化に与える影響を理論的に解決する。
そこで本研究では,トランスレーショナル不変カーネルの帯域幅の更新方式を提案し,トレーニング中の帯域幅をゼロにすることで,ハイパーパラメータ選択の必要性を回避する。
実データおよび合成データにおいて,トレーニング中の帯域幅が,クロスバリデーションと限界確率最大化によって選択された一定帯域幅を用いていかに減少するかを実証する。
また、帯域幅を小さくすることで、ゼロトレーニングエラーとダブル降下動作の両方を実現できることを示す。
関連論文リスト
- Directional Smoothness and Gradient Methods: Convergence and Adaptivity [16.779513676120096]
我々は、最適化の経路に沿った目的の条件付けに依存する勾配降下に対する新しい準最適境界を開発する。
我々の証明の鍵となるのは方向の滑らかさであり、これは、目的の上のバウンドを開発するために使用する勾配変動の尺度である。
我々は,方向の滑らかさの知識を使わずとも,ポリアクのステップサイズと正規化GDが高速で経路依存の速度を得ることを示した。
論文 参考訳(メタデータ) (2024-03-06T22:24:05Z) - Solving Kernel Ridge Regression with Gradient Descent for a Non-Constant
Kernel [1.5229257192293204]
カーネルリッジ回帰(カーネルリッジ回帰、英: Kernel ridge regression、KRR)は、データでは非線形であるがパラメータでは線形である線形リッジ回帰の一般化である。
反復的アプローチを用いることで、トレーニング中にカーネルを変更することができる。
本稿では,トランスレーショナル不変カーネルの帯域幅の更新方式を提案する。
論文 参考訳(メタデータ) (2023-11-03T07:43:53Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳(メタデータ) (2023-10-31T16:15:13Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Gradient Descent Converges Linearly for Logistic Regression on Separable
Data [17.60502131429094]
変動学習率による勾配勾配降下は損失$f(x) leq 1.1 cdot f(x*) + epsilon$ロジスティック回帰目標を示す。
また、ロジスティックなレグレッションを緩やかなレグレッションに適用し、スペルシ・エラーのトレードオフを指数関数的に改善する。
論文 参考訳(メタデータ) (2023-06-26T02:15:26Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳(メタデータ) (2021-06-28T00:17:01Z) - A Variance Controlled Stochastic Method with Biased Estimation for
Faster Non-convex Optimization [0.0]
減少勾配(SVRG)の性能を向上させるために, 分散制御勾配(VCSG)という新しい手法を提案する。
ラムダ$はVCSGで導入され、SVRGによる分散の過剰還元を避ける。
$mathcalO(min1/epsilon3/2,n1/4/epsilon)$ 勾配評価の数。
論文 参考訳(メタデータ) (2021-02-19T12:22:56Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳(メタデータ) (2021-02-06T15:05:14Z) - A Bregman Method for Structure Learning on Sparse Directed Acyclic
Graphs [84.7328507118758]
構造学習のためのBregman近位勾配法を開発した。
高い非線形反復に対する曲率の影響を計測する。
様々な合成および実集合上で本手法をテストする。
論文 参考訳(メタデータ) (2020-11-05T11:37:44Z) - Early stopping and polynomial smoothing in regression with reproducing
kernels [2.132096006921048]
再生カーネルヒルベルト空間(RKHS)における反復学習アルゴリズムの早期停止問題について検討する。
本稿では,いわゆる最小不一致原理に基づく検証セットを使わずに早期停止を行うデータ駆動型ルールを提案する。
提案したルールは、異なるタイプのカーネル空間に対して、ミニマックス最適であることが証明されている。
論文 参考訳(メタデータ) (2020-07-14T05:27:18Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。