Fugu-MT 論文翻訳(概要): Learning curves for Gaussian process regression with power-law priors and targets

論文の概要: Learning curves for Gaussian process regression with power-law priors and targets

arxiv url: http://arxiv.org/abs/2110.12231v1
Date: Sat, 23 Oct 2021 14:35:20 GMT
ステータス: 処理完了
システム内更新日: 2021-10-31 21:29:37.752493
Title: Learning curves for Gaussian process regression with power-law priors and targets
Title（参考訳）: パワーロー優先と目標を持つガウス過程回帰の学習曲線
Authors: Hui Jin, Pradeep Kr. Banerjee, Guido Mont\'ufar
Abstract要約: ガウス過程回帰(GPR)のための学習曲線のパワー則について検討する。一般化誤差が$tilde O(nmaxfrac1alpha-1, frac1-2betaalpha)$のように振る舞うことを示す。
参考スコア（独自算出の注目度）: 1.7403133838762446
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study the power-law asymptotics of learning curves for Gaussian process regression (GPR). When the eigenspectrum of the prior decays with rate $\alpha$ and the eigenexpansion coefficients of the target function decay with rate $\beta$, we show that the generalization error behaves as $\tilde O(n^{\max\{\frac{1}{\alpha}-1, \frac{1-2\beta}{\alpha}\}})$ with high probability over the draw of $n$ input samples. Under similar assumptions, we show that the generalization error of kernel ridge regression (KRR) has the same asymptotics. Infinitely wide neural networks can be related to KRR with respect to the neural tangent kernel (NTK), which in several cases is known to have a power-law spectrum. Hence our methods can be applied to study the generalization error of infinitely wide neural networks. We present toy experiments demonstrating the theory.
Abstract（参考訳）: ガウス過程回帰(GPR)のための学習曲線のパワー・ロー漸近について検討する。先行関数の固有スペクトルが$\alpha$で崩壊し、対象関数の固有展開係数が$\beta$で崩壊すると、一般化誤差は$\tilde o(n^{\max\{\frac{1}{\alpha}-1, \frac{1-2\beta}{\alpha}\}})$として振る舞うが、これは$n$入力サンプルの引き出しよりも高い確率で表される。同様の仮定で、カーネルリッジ回帰(KRR)の一般化誤差は同じ漸近性を持つことを示す。無限に広いニューラルネットワークは、いくつかのケースでパワーロースペクトルを持つことが知られている神経接核(neural tangent kernel, ntk)に関してkrrと関連付けられる。したがって、この手法は無限大のニューラルネットワークの一般化誤差の研究に応用できる。我々は,その理論を実証する玩具実験を行う。

関連論文リスト

Enhanced Feature Learning via Regularisation: Integrating Neural Networks and Kernel Methods [0.0]
我々はBrownian Kernel Neural Network (BKerNN) と呼ばれる推定器の効率的な手法を提案する。 BKerNNの予測リスクは、O(min((d/n)1/2, n-1/6)$(対数因子まで)の明示的な高い確率で最小限のリスクに収束することを示す。
論文参考訳（メタデータ） (2024-07-24T13:46:50Z)
Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文参考訳（メタデータ） (2024-06-12T17:53:29Z)
Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文参考訳（メタデータ） (2024-05-01T15:59:00Z)
Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文参考訳（メタデータ） (2024-04-29T15:04:07Z)
Generalization and Stability of Interpolating Neural Networks with Minimal Width [37.908159361149835]
補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。 m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
論文参考訳（メタデータ） (2023-02-18T05:06:15Z)
More Than a Toy: Random Matrix Models Predict How Real-World Neural Representations Generalize [94.70343385404203]
ほとんどの理論解析は、カーネル回帰においても定性的現象を捉えるには不十分であることがわかった。古典的GCV推定器は局所確率行列法則が成立するたびに一般化リスクに収束することを示す。この結果から, ランダム行列理論は, 実際には神経表現の性質を理解する上で重要である可能性が示唆された。
論文参考訳（メタデータ） (2022-03-11T18:59:01Z)
Deformed semicircle law and concentration of nonlinear random matrices for ultra-wide neural networks [29.03095282348978]
本稿では、$f(X)$に付随する2つの経験的カーネル行列のスペクトル分布の制限について検討する。経験的カーネルによって誘導されるランダムな特徴回帰は、超広範体制下でのカーネル回帰の制限と同じ性能を達成することを示す。
論文参考訳（メタデータ） (2021-09-20T05:25:52Z)
Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文参考訳（メタデータ） (2021-06-06T19:08:53Z)
Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文参考訳（メタデータ） (2020-08-19T12:35:55Z)
The Interpolation Phase Transition in Neural Networks: Memorization and Generalization under Lazy Training [10.72393527290646]
ニューラル・タンジェント(NT)体制における2層ニューラルネットワークの文脈における現象について検討した。 Ndgg n$ とすると、テストエラーは無限幅のカーネルに対するカーネルリッジ回帰の1つによってよく近似される。後者は誤差リッジ回帰によりよく近似され、活性化関数の高次成分に関連する自己誘導項により正規化パラメータが増加する。
論文参考訳（メタデータ） (2020-07-25T01:51:13Z)
Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network [20.132432350255087]
タンジェント降下(GD)によってトレーニングされた過度にパラメータ化されたニューラルネットワークは、任意のトレーニングデータを確実に過度に適合させることができる。本稿では、過度にパラメータ化されたニューラルネットワークが、ランダムノイズの存在下での真のターゲット関数をいかに回復するかを考察する。
論文参考訳（メタデータ） (2020-07-06T01:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。