Fugu-MT 論文翻訳(概要): Optimal Rate of Kernel Regression in Large Dimensions

論文の概要: Optimal Rate of Kernel Regression in Large Dimensions

arxiv url: http://arxiv.org/abs/2309.04268v1
Date: Fri, 8 Sep 2023 11:29:05 GMT
ステータス: 処理完了
システム内更新日: 2023-09-11 13:46:04.535405
Title: Optimal Rate of Kernel Regression in Large Dimensions
Title（参考訳）: 大次元におけるカーネル回帰の最適速度
Authors: Weihao Lu, Haobo Zhang, Yicheng Li, Manyun Xu, Qian Lin
Abstract要約: 我々はまず,大次元データに対する上界と最小値下界のカーネル回帰を特徴付ける汎用ツールを構築する。我々は、新しいツールを使用して、カーネル回帰の余剰リスクの最小値が$n-1/2$であることを示す。
参考スコア（独自算出の注目度）: 14.63552944833659
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We perform a study on kernel regression for large-dimensional data (where the sample size $n$ is polynomially depending on the dimension $d$ of the samples, i.e., $n\asymp d^{\gamma}$ for some $\gamma >0$ ). We first build a general tool to characterize the upper bound and the minimax lower bound of kernel regression for large dimensional data through the Mendelson complexity $\varepsilon_{n}^{2}$ and the metric entropy $\bar{\varepsilon}_{n}^{2}$ respectively. When the target function falls into the RKHS associated with a (general) inner product model defined on $\mathbb{S}^{d}$, we utilize the new tool to show that the minimax rate of the excess risk of kernel regression is $n^{-1/2}$ when $n\asymp d^{\gamma}$ for $\gamma =2, 4, 6, 8, \cdots$. We then further determine the optimal rate of the excess risk of kernel regression for all the $\gamma>0$ and find that the curve of optimal rate varying along $\gamma$ exhibits several new phenomena including the {\it multiple descent behavior} and the {\it periodic plateau behavior}. As an application, For the neural tangent kernel (NTK), we also provide a similar explicit description of the curve of optimal rate. As a direct corollary, we know these claims hold for wide neural networks as well.
Abstract（参考訳）: 我々は、大次元データに対するカーネル回帰(サンプルサイズ$n$ は、いくつかの$\gamma >0$ に対して、サンプルの次元 $d$ に依存する多項式である)の研究を行う。まず、メンデルソン複雑性 $\varepsilon_{n}^{2}$ と計量エントロピー $\bar{\varepsilon}_{n}^{2}$ を通じて、大次元データに対するカーネル回帰の上限と最小値の下限を特徴付ける一般的なツールを構築した。対象関数が $\mathbb{s}^{d}$ で定義される(一般的な)内積モデルに付随する rkhs に陥ると、新しいツールを用いて、カーネル回帰の過剰なリスクのミニマックスレートが $n^{-1/2}$ であるとき、$n\asymp d^{\gamma}$ が $\gamma =2, 4, 6, 8, \cdots$ であるときに示す。さらに、すべての$\gamma>0$ に対するカーネル回帰の過剰リスクの最適確率を判定し、$\gamma$ に沿って変化する最適速度の曲線が「it多重降下挙動」や「it周期台座挙動」を含むいくつかの新しい現象を示すことを見出した。応用として、ニューラル・タンジェント・カーネル(NTK)については、同様に最適な速度の曲線を明示的に記述する。直接的な分類として、これらの主張は広いニューラルネットワークにも当てはまる。

関連論文リスト

Conditional regression for the Nonlinear Single-Variable Model [4.565636963872865]
F(X):=f(Pi_gamma):mathbbRdto[0,rmlen_gamma]$ ここで$Pi_gamma: [0,rmlen_gamma]tomathbbRd$と$f:[0,rmlen_gamma]tomathbbR1$を考える。条件回帰に基づく非パラメトリック推定器を提案し、$one$-dimensionalOptimical min-maxレートを実現できることを示す。
論文参考訳（メタデータ） (2024-11-14T18:53:51Z)
On the Pinsker bound of inner product kernel regression in large dimensions [8.591920836556772]
球面 $mathbbSd$ 上の内積核回帰に対するピンスカー境界について検討する。我々は、この設定でカーネル回帰の正確なミニマックスリスクを決定し、ミニマックス率だけでなく、過剰リスクに関連するピンスカー定数と呼ばれる正確な定数も特定した。
論文参考訳（メタデータ） (2024-09-02T03:01:56Z)
Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文参考訳（メタデータ） (2024-06-03T17:56:58Z)
Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文参考訳（メタデータ） (2024-04-29T15:04:07Z)
Further Understanding of a Local Gaussian Process Approximation: Characterising Convergence in the Finite Regime [1.3518297878940662]
非常に正確かつ大規模に拡張可能なGPnn回帰モデルに対するカーネル関数の一般的な選択は、データセットサイズ$n$の増加に伴って徐々に振る舞いに収束することを示す。同様の境界はモデルの不特定の下で見出され、MSEと重要な校正計量の総合的な収束率を与えるために組み合わせられる。
論文参考訳（メタデータ） (2024-04-09T10:47:01Z)
Optimal Rates of Kernel Ridge Regression under Source Condition in Large Dimensions [15.988264513040903]
そこで,カーネルリッジ回帰 (KRR) の大規模挙動について検討し,サンプルサイズ$n asymp dgamma$ for some $gamma > 0$について検討した。以上の結果から,ガンマ$で変動する速度曲線は周期的台地挙動と多重降下挙動を示すことが明らかとなった。
論文参考訳（メタデータ） (2024-01-02T16:14:35Z)
Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文参考訳（メタデータ） (2023-06-26T17:13:31Z)
Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文参考訳（メタデータ） (2022-06-26T06:51:31Z)
High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
論文参考訳（メタデータ） (2022-05-03T12:09:59Z)
Deformed semicircle law and concentration of nonlinear random matrices for ultra-wide neural networks [29.03095282348978]
本稿では、$f(X)$に付随する2つの経験的カーネル行列のスペクトル分布の制限について検討する。経験的カーネルによって誘導されるランダムな特徴回帰は、超広範体制下でのカーネル回帰の制限と同じ性能を達成することを示す。
論文参考訳（メタデータ） (2021-09-20T05:25:52Z)
Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文参考訳（メタデータ） (2020-07-16T06:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。