論文の概要: Failure and success of the spectral bias prediction for Kernel Ridge
Regression: the case of low-dimensional data
- arxiv url: http://arxiv.org/abs/2202.03348v1
- Date: Mon, 7 Feb 2022 16:48:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 18:12:40.861242
- Title: Failure and success of the spectral bias prediction for Kernel Ridge
Regression: the case of low-dimensional data
- Title（参考訳）: カーネルリッジ回帰におけるスペクトルバイアス予測の失敗と成功--低次元データの場合
- Authors: Umberto M. Tomasini, Antonio Sclocchi, Matthieu Wyart
- Abstract要約: 一部のレジームでは、カーネルの固有基底上の真の関数 $f*$ を分解して、この方法がスペクトルバイアスを持つと予測している。
この予測は、画像などのベンチマークデータセットで非常にうまく機能するが、これらのアプローチがデータに対して行う仮定は、実際には満たされない。
- 参考スコア（独自算出の注目度）: 0.28647133890966986
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, several theories including the replica method made predictions for
the generalization error of Kernel Ridge Regression. In some regimes, they
predict that the method has a `spectral bias': decomposing the true function
$f^*$ on the eigenbasis of the kernel, it fits well the coefficients associated
with the O(P) largest eigenvalues, where $P$ is the size of the training set.
This prediction works very well on benchmark data sets such as images, yet the
assumptions these approaches make on the data are never satisfied in practice.
To clarify when the spectral bias prediction holds, we first focus on a
one-dimensional model where rigorous results are obtained and then use scaling
arguments to generalize and test our findings in higher dimensions. Our
predictions include the classification case $f(x)=$sign$(x_1)$ with a data
distribution that vanishes at the decision boundary $p(x)\sim x_1^{\chi}$. For
$\chi>0$ and a Laplace kernel, we find that (i) there exists a cross-over ridge
$\lambda^*_{d,\chi}(P)\sim P^{-\frac{1}{d+\chi}}$ such that for $\lambda\gg
\lambda^*_{d,\chi}(P)$, the replica method applies, but not for
$\lambda\ll\lambda^*_{d,\chi}(P)$, (ii) in the ridge-less case, spectral bias
predicts the correct training curve exponent only in the limit
$d\rightarrow\infty$.
- Abstract（参考訳）: 近年、レプリカ法を含むいくつかの理論がケルネルリッジ回帰の一般化誤差を予測している。
実関数 $f^*$ を核の固有基底に分解すると、O(P) 最大の固有値に関連付けられた係数がうまく適合する(ここでは、$P$ はトレーニングセットのサイズである)。
この予測は、画像などのベンチマークデータセットで非常にうまく機能するが、これらのアプローチがデータに対して行う仮定は、実際には満たされない。
スペクトルバイアス予測がいつ成り立つかを明らかにするため、まず、厳密な結果が得られる1次元モデルに焦点をあて、その後、スケーリング引数を使用して、より高次元で結果を一般化し、テストする。
我々の予測には、決定境界の$p(x)\sim x_1^{\chi}$で消滅するデータ分布を持つ分類ケース$f(x)=$sign$(x_1)$が含まれる。
$\chi>0$ と laplace kernel では、
(i) クロスオーバーリッジ $\lambda^*_{d,\chi}(P)\sim P^{-\frac{1}{d+\chi}}$ が存在し、これは $\lambda\gg \lambda^*_{d,\chi}(P)$ の場合、レプリカメソッドが適用されるが、$\lambda\ll\lambda^*_{d,\chi}(P)$ の場合ではない。
(ii) リッジレスの場合、スペクトルバイアスは正しいトレーニング曲線指数を$d\rightarrow\infty$でしか予測しない。
関連論文リスト
- Optimal Rates of Kernel Ridge Regression under Source Condition in Large
Dimensions [15.988264513040903]
そこで,カーネルリッジ回帰 (KRR) の大規模挙動について検討し,サンプルサイズ$n asymp dgamma$ for some $gamma > 0$について検討した。
以上の結果から,ガンマ$で変動する速度曲線は周期的台地挙動と多重降下挙動を示すことが明らかとなった。
論文 参考訳（メタデータ） (2024-01-02T16:14:35Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - $L^1$ Estimation: On the Optimality of Linear Estimators [64.76492306585168]
この研究は、条件中央値の線型性を誘導する$X$上の唯一の先行分布がガウス分布であることを示している。
特に、条件分布 $P_X|Y=y$ がすべての$y$に対して対称であるなら、$X$ はガウス分布に従う必要がある。
論文 参考訳（メタデータ） (2023-09-17T01:45:13Z) - Dimension free ridge regression [10.434481202633458]
我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。
新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
論文 参考訳（メタデータ） (2022-10-16T16:01:05Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳（メタデータ） (2022-03-25T10:54:41Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Locality defeats the curse of dimensionality in convolutional
teacher-student scenarios [69.2027612631023]
学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。
我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
論文 参考訳（メタデータ） (2021-06-16T08:27:31Z) - Estimating Stochastic Linear Combination of Non-linear Regressions
Efficiently and Scalably [23.372021234032363]
サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。
私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
論文 参考訳（メタデータ） (2020-10-19T07:15:38Z) - Out-of-sample error estimate for robust M-estimators with convex penalty [5.33024001730262]
凸ペナルティで正規化された堅牢な$M$-estimatorsに対して、一般的なサンプル外誤差推定を提案する。
一般的な微分可能損失関数 $psi$ は $psi=rho'$ が 1-Lipschitz であるときに許される。
論文 参考訳（メタデータ） (2020-08-26T21:50:41Z) - Truncated Linear Regression in High Dimensions [26.41623833920794]
truncated linear regression において、従属変数 $(A_i, y_i)_i$ は $y_i= A_irm T cdot x* + eta_i$ は固定された未知の興味ベクトルである。
目標は、$A_i$とノイズ分布に関するいくつかの好ましい条件の下で$x*$を回復することである。
我々は、$k$-sparse $n$-dimensional vectors $x*$ from $m$ truncated sample。
論文 参考訳（メタデータ） (2020-07-29T00:31:34Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。