論文の概要: Solving Kernel Ridge Regression with Gradient Descent for a Non-Constant Kernel

• arxiv url: http://arxiv.org/abs/2311.01762v1
• Date: Fri, 3 Nov 2023 07:43:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 14:45:34.522121
• Title: Solving Kernel Ridge Regression with Gradient Descent for a Non-Constant Kernel
• Title（参考訳）: 非定常核に対する勾配降下による核リッジ回帰の解法
• Authors: Oskar Allerbo
• Abstract要約: カーネルリッジ回帰(カーネルリッジ回帰、英: Kernel ridge regression、KRR)は、データでは非線形であるがパラメータでは線形である線形リッジ回帰の一般化である。 反復的アプローチを用いることで、トレーニング中にカーネルを変更することができる。 本稿では,トランスレーショナル不変カーネルの帯域幅の更新方式を提案する。
• 参考スコア（独自算出の注目度）: 1.5229257192293204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernel ridge regression, KRR, is a generalization of linear ridge regression that is non-linear in the data, but linear in the parameters. The solution can be obtained either as a closed-form solution, which includes a matrix inversion, or iteratively through gradient descent. Using the iterative approach opens up for changing the kernel during training, something that is investigated in this paper. We theoretically address the effects this has on model complexity and generalization. Based on our findings, we propose an update scheme for the bandwidth of translational-invariant kernels, where we let the bandwidth decrease to zero during training, thus circumventing the need for hyper-parameter selection. We demonstrate on real and synthetic data how decreasing the bandwidth during training outperforms using a constant bandwidth, selected by cross-validation and marginal likelihood maximization. We also show theoretically and empirically that using a decreasing bandwidth, we are able to achieve both zero training error in combination with good generalization, and a double descent behavior, phenomena that do not occur for KRR with constant bandwidth but are known to appear for neural networks.
• Abstract（参考訳）: カーネルリッジ回帰 (kernel ridge regression, krr) は、データでは非線形であるがパラメータでは線形である線形リッジ回帰の一般化である。 この溶液は、行列逆転を含む閉形式溶液として、あるいは勾配降下によって反復的に得ることができる。 反復的アプローチを用いることで、トレーニング中にカーネルを変更することが可能になります。 理論的には、これがモデル複雑性と一般化に与える影響を論じる。 そこで本研究では,トランスレーショナル不変カーネルの帯域幅の更新方式を提案し,トレーニング中の帯域幅をゼロにすることで,ハイパーパラメータ選択の必要性を回避する。 実データおよび合成データにおいて,トレーニング中の帯域幅が,クロスバリデーションと限界確率最大化によって選択された一定帯域幅を用いていかに減少するかを実証する。 また、帯域幅を減少させることで、良い一般化と組み合わせてゼロトレーニング誤差を達成できることと、KRRが一定の帯域幅を持つがニューラルネットワークに現れることが知られている現象である二重降下挙動を両立できることを理論的かつ実証的に示す。

関連論文リスト

• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Solving Kernel Ridge Regression with Gradient-Based Optimization Methods [1.5229257192293204]
  カーネルリッジ回帰(カーネルリッジ回帰、英: Kernel ridge regression、KRR)は、データでは非線形であるがパラメータでは線形である線形リッジ回帰の一般化である。 我々は、$ell_infty$ペナルティとそれに対応する勾配に基づく最適化アルゴリズムがどのようにスパースで堅牢なカーネル回帰解を生成するかを理論的、実証的に示す。
  論文  参考訳（メタデータ） (2023-06-29T10:29:29Z)
• Implicit Regularization for Group Sparsity [33.487964460794764]
  正方形回帰損失に対する勾配勾配は, 明示的な正則化を伴わずに, 群間隔構造を持つ解に偏りを示す。 一般雑音設定における回帰問題の勾配ダイナミクスを解析し,最小最適誤差率を求める。 サイズ 1 群の退化の場合、我々の手法は疎線形回帰の新しいアルゴリズムを生み出す。
  論文  参考訳（メタデータ） (2023-01-29T20:54:03Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Bandwidth Selection for Gaussian Kernel Ridge Regression via Jacobian Control [1.5229257192293204]
  本稿では,ジャコビアン制御に基づく閉形式,フェザーライト,帯域幅選択を提案する。 実データと合成データを比較した結果,モデル性能は最大6桁の精度で比較できることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T10:36:05Z)
• Error-Correcting Neural Networks for Two-Dimensional Curvature Computation in the Level-Set Method [0.0]
  本稿では,2次元曲率をレベルセット法で近似するための誤差ニューラルモデルに基づく手法を提案する。 我々の主な貢献は、需要に応じて機械学習操作を可能にする数値スキームに依存する、再設計されたハイブリッド・ソルバである。
  論文  参考訳（メタデータ） (2022-01-22T05:14:40Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Optimal Rates of Distributed Regression with Imperfect Kernels [0.0]
  本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。 ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
  論文  参考訳（メタデータ） (2020-06-30T13:00:16Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。