論文の概要: Overparameterized random feature regression with nearly orthogonal data

• arxiv url: http://arxiv.org/abs/2211.06077v1
• Date: Fri, 11 Nov 2022 09:16:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 16:06:38.917571
• Title: Overparameterized random feature regression with nearly orthogonal data
• Title（参考訳）: ほぼ直交データを用いた過パラメータランダム特徴回帰
• Authors: Zhichao Wang and Yizhe Zhu
• Abstract要約: RFRRのトレーニング誤差,クロスバリデーション,一般化誤差の非漸近挙動について検討した。 我々の結果は、異なるデータポイント間の弱い近似特性を持つターゲット関数と入力データの一般的なクラスを保っている。
• 参考スコア（独自算出の注目度）: 29.03095282348978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the random feature ridge regression (RFRR) given by a two-layer neural network at random initialization. We study the non-asymptotic behaviors of the training error, cross-validations, and generalization error of RFRR with nearly orthogonal deterministic input data in the overparameterized regime, where the number of parameters $N$ is much larger than the sample size $n$. We respectively establish the concentrations of the training errors, cross-validations, and generalization errors of RFRR around their corresponding errors of kernel ridge regression (KRR). This KRR is defined by an expected kernel from a random feature map. We then approximate the performances of the KRR by a polynomial kernel matrix, whose degree only depends on the orthogonality among different input vectors. The degree of this polynomial kernel essentially determines the asymptotic behavior of RFRR and KRR. Our results hold for a general class of target functions and input data with weak approximate orthonormal properties among different data points. Based on these approximations and nearly orthogonality, we obtain a lower bound for the generalization error of RFRR.
• Abstract（参考訳）: ランダム初期化時の2層ニューラルネットワークによって与えられるランダム特徴リッジ回帰(rfrr)を考える。 パラメータの数がサンプルサイズ$n$よりもはるかに大きい過パラメータ化系において, ほぼ直交決定論的入力データを用いたRFRRのトレーニング誤差, クロスバリデーション, 一般化誤差の非漸近挙動について検討した。 RFRRのトレーニング誤差,クロスバリデーション,一般化誤差の濃度を,それぞれ対応するカーネルリッジ回帰(KRR)の誤差の周りに設定する。 このKRRは、ランダムな特徴写像から期待されるカーネルによって定義される。 次に、KRRの性能を多項式カーネル行列で近似し、その次数は異なる入力ベクトル間の直交性にのみ依存する。 この多項式核の次数は本質的にRFRRとKRRの漸近挙動を決定する。 この結果は, 対象関数の一般クラスと, 異なるデータ点間の近似正則特性の弱い入力データに対するものである。 これらの近似とほぼ直交性に基づいて、RFRRの一般化誤差に対する下界を求める。

関連論文リスト

• Universality of kernel random matrices and kernel regression in the quadratic regime [18.51014786894174]
  本研究では、カーネルカーネルの回帰の研究を二次構造にまで拡張する。 我々は、元のカーネルランダム行列と二次カーネルランダム行列の差分に限定した作用素ノルム近似を確立する。 我々は、$n/d2$が非ゼロ定数に収束する二次状態におけるKRRの正確なトレーニングと一般化誤差を特徴づける。
  論文  参考訳（メタデータ） (2024-08-02T07:29:49Z)
• Dimension-free deterministic equivalents and scaling laws for random feature regression [11.607594737176973]
  テスト誤差は特徴写像固有値のみに依存する閉形式式によってよく近似されていることを示す。 特に、近似保証は非漸近的で乗法的であり、特徴写像次元とは独立である。
  論文  参考訳（メタデータ） (2024-05-24T16:43:26Z)
• Characterizing Overfitting in Kernel Ridgeless Regression Through the Eigenspectrum [6.749750044497731]
  我々は、ガウス以下の設計仮定の下で、誘惑的な過フィットと破滅的な過フィットの現象を証明した。 また、機能の独立性は、誘惑に満ちたオーバーフィッティングを保証する上で重要な役割を担っていることも確認しています。
  論文  参考訳（メタデータ） (2024-02-02T10:36:53Z)
• A Theoretical Analysis of the Test Error of Finite-Rank Kernel Ridge Regression [23.156642467474995]
  有限ランクカーネルは、例えば、トレーニング済みのディープニューラルネットワークの最後の層を微調整して新しいタスクに適応するなど、いくつかの機械学習問題に自然に現れる。 我々は、任意の有限ランクKRRのKRRテスト誤差に対して、急激な非漸近上界と下界を導出することにより、このギャップに対処する。 我々の境界は、以前に導出された有限ランクKRR上の境界よりも厳密であり、同等の結果とは異なり、任意の正則化パラメータに対しても有効である。
  論文  参考訳（メタデータ） (2023-10-02T08:52:29Z)
• Simplex Random Features [53.97976744884616]
  ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。 我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。 ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
  論文  参考訳（メタデータ） (2023-01-31T18:53:39Z)
• Sharp Asymptotics of Kernel Ridge Regression Beyond the Linear Regime [22.58196673815647]
  カーネルリッジ回帰(KRR)は、サンプルサイズ$n$と基礎となる次元$d$のスケーリング関係に決定的に依存する多相パターンを示す。 我々は、KRRの学習曲線が、異なるスケーリング体制における特定のバイアス分散トレードオフにより、繊細な「二重降下」挙動を持つことを示す。
  論文  参考訳（メタデータ） (2022-05-13T17:50:54Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)
• Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\"om method [76.73096213472897]
  我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。 我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。 RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
  論文  参考訳（メタデータ） (2020-02-21T00:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。