論文の概要: Target alignment in truncated kernel ridge regression

• arxiv url: http://arxiv.org/abs/2206.14255v1
• Date: Tue, 28 Jun 2022 19:16:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-30 20:05:47.644677
• Title: Target alignment in truncated kernel ridge regression
• Title（参考訳）: truncated kernel ridge regressionにおけるターゲットアライメント
• Authors: Arash A. Amini, Richard Baumgartner, Dai Feng
• Abstract要約: ターゲット関数とカーネルのアライメントがカーネルリッジ回帰(KRR)の性能に与える影響について検討する。 我々は,TKRRが完全KRRで達成可能なものよりも高速に達成できるエンフェール整列系が存在することを示す。 また、バンドリミテッドアライメントの設定を考慮し、TKRRの正規化面が多重降下や非単調な挙動を含む過渡的な効果を示すことを示す。
• 参考スコア（独自算出の注目度）: 12.139222986297264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernel ridge regression (KRR) has recently attracted renewed interest due to its potential for explaining the transient effects, such as double descent, that emerge during neural network training. In this work, we study how the alignment between the target function and the kernel affects the performance of the KRR. We focus on the truncated KRR (TKRR) which utilizes an additional parameter that controls the spectral truncation of the kernel matrix. We show that for polynomial alignment, there is an \emph{over-aligned} regime, in which TKRR can achieve a faster rate than what is achievable by full KRR. The rate of TKRR can improve all the way to the parametric rate, while that of full KRR is capped at a sub-optimal value. This shows that target alignemnt can be better leveraged by utilizing spectral truncation in kernel methods. We also consider the bandlimited alignment setting and show that the regularization surface of TKRR can exhibit transient effects including multiple descent and non-monotonic behavior. Our results show that there is a strong and quantifable relation between the shape of the \emph{alignment spectrum} and the generalization performance of kernel methods, both in terms of rates and in finite samples.
• Abstract（参考訳）: kernel ridge regression(krr)は最近、ニューラルネットワークトレーニング中に発生する二重降下のような一時的な効果を説明する可能性から、新たな関心を集めている。 本研究では,対象関数とカーネルのアライメントがKRRの性能に与える影響について検討する。 我々は、カーネル行列のスペクトル切り離しを制御する追加パラメータを利用する切り離されたKRR(TKRR)に焦点を当てる。 多項式アライメントに対して、TKRR が完全 KRR で達成可能なものよりも高速な速度を達成できる 'emph{over-aligned} 構造が存在することを示す。 TKRRの速度はパラメトリックレートまで改善でき、フルKRRの速度は準最適値で上限づけられる。 これは、ターゲットアライメントが、カーネルメソッドのスペクトル切断を利用することにより、より効果的に活用できることを示す。 また,帯域制限アライメント設定を考察し,tkrrの正規化面が複数の降下や非単調な挙動を含む過渡的効果を示すことを示した。 以上の結果から,emph{alignment spectrum} の形状とカーネル法の一般化性能との間には,速度と有限サンプルの両方において強い,定量な関係があることがわかった。

関連論文リスト

• Supervised Kernel Thinning [6.6157730528755065]
  Dwivedi & Mackey (2024) のカーネルスライニングアルゴリズムは、一般的な点集合のより優れた圧縮を提供する。 我々はKTアルゴリズムを一般化し、カーネルメソッドを含む教師付き学習問題を高速化する。
  論文  参考訳（メタデータ） (2024-10-17T16:48:51Z)
• Solving Kernel Ridge Regression with Gradient Descent for a Non-Constant Kernel [1.5229257192293204]
  KRRはデータでは非線形であるがパラメータでは線形である線形リッジ回帰の一般化である。 本稿では,カーネルをトレーニング中に変更した場合の効果について考察する。 帯域幅を減少させることで、よい一般化と組み合わせてゼロトレーニング誤差を達成できることと、二重降下挙動を両立できることを理論的に実証的に示す。
  論文  参考訳（メタデータ） (2023-11-03T07:43:53Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• KERPLE: Kernelized Relative Positional Embedding for Length Extrapolation [72.71398034617607]
  KERPLEは、位置差のカーネル化によって外挿のための相対的な位置埋め込みを一般化するフレームワークである。 CPDカーネルの多様性により、原則的に長さ外挿を可能にする様々な RPE を導出できる。
  論文  参考訳（メタデータ） (2022-05-20T01:25:57Z)
• Optimally tackling covariate shift in RKHS-based nonparametric regression [43.457497490211985]
  我々は、慎重に選択された正規化パラメータを持つカーネルリッジ回帰推定器がミニマックスレート最適であることを示す。 また,関数クラスに対する経験的リスクを最小限に抑えるナイーブ推定器は,厳密に準最適であることを示す。 そこで本研究では, 再重み付きKRR推定器を提案する。
  論文  参考訳（メタデータ） (2022-05-06T02:33:24Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Optimal Rates of Distributed Regression with Imperfect Kernels [0.0]
  本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。 ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
  論文  参考訳（メタデータ） (2020-06-30T13:00:16Z)
• Off-the-grid: Fast and Effective Hyperparameter Search for Kernel Clustering [2.304694255100371]
  カーネルパラメータがカーネル$k$-meansに与える影響について検討する。 特に、以下に、RBFカーネルのパラメータがカーネル$k$-meansを無意味にレンダリングする、定数要素までの低いバウンダリを導出する。
  論文  参考訳（メタデータ） (2020-06-24T08:58:58Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)
• Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\"om method [76.73096213472897]
  我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。 我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。 RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
  論文  参考訳（メタデータ） (2020-02-21T00:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。