論文の概要: How rotational invariance of common kernels prevents generalization in high dimensions

• arxiv url: http://arxiv.org/abs/2104.04244v1
• Date: Fri, 9 Apr 2021 08:27:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-12 14:09:49.579610
• Title: How rotational invariance of common kernels prevents generalization in high dimensions
• Title（参考訳）: 共有核の回転不変性が高次元の一般化を防ぐ方法
• Authors: Konstantin Donhauser, Mingqi Wu and Fanny Yang
• Abstract要約: カーネルリッジ回帰は、低次元設定で最小の最適速度を達成するためによく知られている。 最近の研究は、基底真理関数と入力データの分布を仮定して、カーネル回帰の整合性を確立する。
• 参考スコア（独自算出の注目度）: 8.508198765617196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernel ridge regression is well-known to achieve minimax optimal rates in low-dimensional settings. However, its behavior in high dimensions is much less understood. Recent work establishes consistency for kernel regression under certain assumptions on the ground truth function and the distribution of the input data. In this paper, we show that the rotational invariance property of commonly studied kernels (such as RBF, inner product kernels and fully-connected NTK of any depth) induces a bias towards low-degree polynomials in high dimensions. Our result implies a lower bound on the generalization error for a wide range of distributions and various choices of the scaling for kernels with different eigenvalue decays. This lower bound suggests that general consistency results for kernel ridge regression in high dimensions require a more refined analysis that depends on the structure of the kernel beyond its eigenvalue decay.
• Abstract（参考訳）: カーネルリッジ回帰は、低次元設定で最小の最適速度を達成するためによく知られている。 しかし、高次元におけるその挙動は、あまり理解されていない。 最近の研究は、基底真理関数と入力データの分布を仮定して、カーネル回帰の一貫性を確立する。 本稿では,よく研究されている核(rbf,内積核,奥行きの完全連結ntkなど)の回転不変性が,高次元の低次多項式に対するバイアスを生じさせることを示した。 この結果は、幅広い分布の一般化誤差と、異なる固有値崩壊を持つカーネルのスケーリングの様々な選択に対する低い境界を示唆している。 この下界は、高次元の核リッジ回帰に対する一般的な一貫性の結果は、固有値の崩壊を超える核の構造に依存するより洗練された解析を必要とすることを示唆している。

関連論文リスト

• High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
  本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。 バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。 偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
  論文  参考訳（メタデータ） (2024-06-05T12:03:27Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Generalization Error Curves for Analytic Spectral Algorithms under Power-law Decay [13.803850290216257]
  本稿では,カーネル勾配勾配法における一般化誤差曲線の完全な特徴付けを行う。 ニューラル・タンジェント・カーネル理論により、これらの結果は広義のニューラルネットワークを訓練する際の一般化行動の理解を大幅に改善する。
  論文  参考訳（メタデータ） (2024-01-03T08:00:50Z)
• Generalization in Kernel Regression Under Realistic Assumptions [41.345620270267446]
  共通カーネルや任意の正規化、ノイズ、任意の入力次元、サンプル数に対して厳密な境界を提供する。 以上の結果から,高入力次元における過剰適合,固定次元におけるほぼ誘電過剰適合,正規化回帰に対する明示的な収束率が示唆された。 副産物として、カーネルシステムで訓練されたニューラルネットワークの時間依存境界を得る。
  論文  参考訳（メタデータ） (2023-12-26T10:55:20Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Kernel Mean Estimation by Marginalized Corrupted Distributions [96.9272743070371]
  カーネル平均をヒルベルト空間で推定することは、多くのカーネル学習アルゴリズムにおいて重要な要素である。 本稿では,カーネル平均推定器としてカーネル平均推定器を提案する。
  論文  参考訳（メタデータ） (2021-07-10T15:11:28Z)
• Kernel approximation on algebraic varieties [0.7614628596146599]
  スパースデータやローランクデータにまつわる問題において, より優れた近似が得られることを示す。 この結果は、アプリケーションで使用されるカーネルの主要なクラスであるスムーズな等方性カーネルに対して提示される。
  論文  参考訳（メタデータ） (2021-06-04T23:42:19Z)
• Towards Unbiased Random Features with Lower Variance For Stationary Indefinite Kernels [26.57122949130266]
  本アルゴリズムは,既存のカーネル近似法と比較して,より低い分散と近似誤差を達成する。 もともと選択されたカーネルの近似性が向上し、分類精度と回帰能力が向上する。
  論文  参考訳（メタデータ） (2021-04-13T13:56:50Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Optimal Rates of Distributed Regression with Imperfect Kernels [0.0]
  本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。 ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
  論文  参考訳（メタデータ） (2020-06-30T13:00:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。