論文の概要: A Theoretical Analysis of the Test Error of Finite-Rank Kernel Ridge Regression

• arxiv url: http://arxiv.org/abs/2310.00987v2
• Date: Tue, 3 Oct 2023 16:00:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 22:53:53.388523
• Title: A Theoretical Analysis of the Test Error of Finite-Rank Kernel Ridge Regression
• Title（参考訳）: 有限列カーネルリッジ回帰の試験誤差に関する理論的解析
• Authors: Tin Sum Cheng, Aurelien Lucchi, Ivan Dokmani\'c, Anastasis Kratsios and David Belius
• Abstract要約: 有限ランクカーネルは、例えば、トレーニング済みのディープニューラルネットワークの最後の層を微調整して新しいタスクに適応するなど、いくつかの機械学習問題に自然に現れる。 我々は、任意の有限ランクKRRのKRRテスト誤差に対して、急激な非漸近上界と下界を導出することにより、このギャップに対処する。 我々の境界は、以前に導出された有限ランクKRR上の境界よりも厳密であり、同等の結果とは異なり、任意の正則化パラメータに対しても有効である。
• 参考スコア（独自算出の注目度）: 23.156642467474995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing statistical learning guarantees for general kernel regressors often yield loose bounds when used with finite-rank kernels. Yet, finite-rank kernels naturally appear in several machine learning problems, e.g.\ when fine-tuning a pre-trained deep neural network's last layer to adapt it to a novel task when performing transfer learning. We address this gap for finite-rank kernel ridge regression (KRR) by deriving sharp non-asymptotic upper and lower bounds for the KRR test error of any finite-rank KRR. Our bounds are tighter than previously derived bounds on finite-rank KRR, and unlike comparable results, they also remain valid for any regularization parameters.
• Abstract（参考訳）: 一般的なカーネル回帰器の既存の統計的学習保証は、有限ランクカーネルで使用する場合、しばしばゆるい境界をもたらす。 しかし、有限ランクカーネルは、例えば、事前訓練されたディープニューラルネットワークの最後の層を微調整して、転送学習を実行する際に新しいタスクに適応するときに、いくつかの機械学習問題に自然に現れる。 有限ランク核リッジ回帰(krr)におけるこのギャップを,任意の有限ランクkrrのkrrテスト誤差に対する鋭い非漸近的上界と下界から導出することにより解決する。 我々の境界は、有限ランク krr 上の以前導かれた境界よりも厳密であり、同等の結果とは異なり、任意の正規化パラメータでも有効である。

関連論文リスト

• Generalization and Risk Bounds for Recurrent Neural Networks [3.0638061480679912]
  我々は,バニラRNNに対する新しい一般化誤差を確立する。 我々は、様々な損失関数に適用可能なRademacher複雑性を計算する統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-05T03:49:06Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Approximation Bounds for Recurrent Neural Networks with Application to Regression [7.723218675113336]
  深部ReLUリカレントニューラルネットワーク(RNN)の近似能力について検討し,RNNを用いた非パラメトリック最小二乗回帰の収束特性について検討した。 H" の滑らかな関数に対する RNN の近似誤差の上限を導出する。 以上の結果から,RNNの性能に関する統計的保証が得られる。
  論文  参考訳（メタデータ） (2024-09-09T13:02:50Z)
• Characterizing Overfitting in Kernel Ridgeless Regression Through the Eigenspectrum [6.749750044497731]
  我々は、ガウス以下の設計仮定の下で、誘惑的な過フィットと破滅的な過フィットの現象を証明した。 また、機能の独立性は、誘惑に満ちたオーバーフィッティングを保証する上で重要な役割を担っていることも確認しています。
  論文  参考訳（メタデータ） (2024-02-02T10:36:53Z)
• On the Sublinear Regret of GP-UCB [58.25014663727544]
  ガウス過程上信頼境界 (GP-UCB) アルゴリズムは, ほぼ最適の後悔率を有することを示す。 私たちの改善は、基盤となるカーネルの滑らかさに比例してカーネルリッジ推定を正規化するという、重要な技術的貢献に依存しています。
  論文  参考訳（メタデータ） (2023-07-14T13:56:11Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Overparameterized random feature regression with nearly orthogonal data [21.97381518762387]
  本研究では,2層ニューラルネットワークによるランダム特徴リッジ回帰(RFRR)の非漸近挙動について検討した。 我々の結果は、ほぼ決定論的性質を示す様々なアクティベーション関数と入力データセットに対して成り立っている。
  論文  参考訳（メタデータ） (2022-11-11T09:16:25Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Early stopping and polynomial smoothing in regression with reproducing kernels [2.0411082897313984]
  再生カーネルヒルベルト空間(RKHS)における反復学習アルゴリズムの早期停止問題について検討する。 本稿では,いわゆる最小不一致原理に基づく検証セットを使わずに早期停止を行うデータ駆動型ルールを提案する。 提案したルールは、異なるタイプのカーネル空間に対して、ミニマックス最適であることが証明されている。
  論文  参考訳（メタデータ） (2020-07-14T05:27:18Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。