論文の概要: Overparameterized random feature regression with nearly orthogonal data

• arxiv url: http://arxiv.org/abs/2211.06077v3
• Date: Sun, 13 Aug 2023 06:23:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 22:54:53.104668
• Title: Overparameterized random feature regression with nearly orthogonal data
• Title（参考訳）: ほぼ直交データを用いた過パラメータランダム特徴回帰
• Authors: Zhichao Wang and Yizhe Zhu
• Abstract要約: 本研究では,2層ニューラルネットワークによるランダム特徴リッジ回帰(RFRR)の非漸近挙動について検討した。 我々の結果は、ほぼ決定論的性質を示す様々なアクティベーション関数と入力データセットに対して成り立っている。
• 参考スコア（独自算出の注目度）: 21.97381518762387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the properties of random feature ridge regression (RFRR) given by a two-layer neural network with random Gaussian initialization. We study the non-asymptotic behaviors of the RFRR with nearly orthogonal deterministic unit-length input data vectors in the overparameterized regime, where the width of the first layer is much larger than the sample size. Our analysis shows high-probability non-asymptotic concentration results for the training errors, cross-validations, and generalization errors of RFRR centered around their respective values for a kernel ridge regression (KRR). This KRR is derived from an expected kernel generated by a nonlinear random feature map. We then approximate the performance of the KRR by a polynomial kernel matrix obtained from the Hermite polynomial expansion of the activation function, whose degree only depends on the orthogonality among different data points. This polynomial kernel determines the asymptotic behavior of the RFRR and the KRR. Our results hold for a wide variety of activation functions and input data sets that exhibit nearly orthogonal properties. Based on these approximations, we obtain a lower bound for the generalization error of the RFRR for a nonlinear student-teacher model.
• Abstract（参考訳）: ランダムガウス初期化を持つ2層ニューラルネットワークによって与えられるランダム特徴リッジ回帰(rfrr)の特性について検討する。 RFRRの非漸近挙動とほぼ直交決定論的な単位長入力データベクトルについて,第1層の幅が試料サイズよりもはるかに大きい過パラメータ化状態下で検討した。 本研究は,カーネルリッジ回帰(KRR)におけるRFRRのトレーニング誤差,クロスバリデーション,一般化誤差について高確率な非漸近性濃度結果を示す。 このKRRは、非線形ランダム特徴写像によって生成される期待カーネルから導かれる。 次に、活性化関数のエルミート多項式展開から得られる多項式カーネル行列によりKRRの性能を近似し、その次数は異なるデータポイント間の直交度にのみ依存する。 この多項式カーネルはRFRRとKRRの漸近挙動を決定する。 その結果、ほぼ直交的な特性を持つ様々なアクティベーション関数と入力データセットが得られた。 これらの近似に基づいて、非線形学習者モデルに対するRFRRの一般化誤差の下位境界を求める。

関連論文リスト

• Universality of kernel random matrices and kernel regression in the quadratic regime [18.51014786894174]
  本研究では、カーネルカーネルの回帰の研究を二次構造にまで拡張する。 我々は、元のカーネルランダム行列と二次カーネルランダム行列の差分に限定した作用素ノルム近似を確立する。 我々は、$n/d2$が非ゼロ定数に収束する二次状態におけるKRRの正確なトレーニングと一般化誤差を特徴づける。
  論文  参考訳（メタデータ） (2024-08-02T07:29:49Z)
• Dimension-free deterministic equivalents and scaling laws for random feature regression [11.607594737176973]
  テスト誤差は特徴写像固有値のみに依存する閉形式式によってよく近似されていることを示す。 特に、近似保証は非漸近的で乗法的であり、特徴写像次元とは独立である。
  論文  参考訳（メタデータ） (2024-05-24T16:43:26Z)
• Characterizing Overfitting in Kernel Ridgeless Regression Through the Eigenspectrum [6.749750044497731]
  我々は、ガウス以下の設計仮定の下で、誘惑的な過フィットと破滅的な過フィットの現象を証明した。 また、機能の独立性は、誘惑に満ちたオーバーフィッティングを保証する上で重要な役割を担っていることも確認しています。
  論文  参考訳（メタデータ） (2024-02-02T10:36:53Z)
• A Theoretical Analysis of the Test Error of Finite-Rank Kernel Ridge Regression [23.156642467474995]
  有限ランクカーネルは、例えば、トレーニング済みのディープニューラルネットワークの最後の層を微調整して新しいタスクに適応するなど、いくつかの機械学習問題に自然に現れる。 我々は、任意の有限ランクKRRのKRRテスト誤差に対して、急激な非漸近上界と下界を導出することにより、このギャップに対処する。 我々の境界は、以前に導出された有限ランクKRR上の境界よりも厳密であり、同等の結果とは異なり、任意の正則化パラメータに対しても有効である。
  論文  参考訳（メタデータ） (2023-10-02T08:52:29Z)
• Simplex Random Features [53.97976744884616]
  ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。 我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。 ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
  論文  参考訳（メタデータ） (2023-01-31T18:53:39Z)
• Sharp Asymptotics of Kernel Ridge Regression Beyond the Linear Regime [22.58196673815647]
  カーネルリッジ回帰(KRR)は、サンプルサイズ$n$と基礎となる次元$d$のスケーリング関係に決定的に依存する多相パターンを示す。 我々は、KRRの学習曲線が、異なるスケーリング体制における特定のバイアス分散トレードオフにより、繊細な「二重降下」挙動を持つことを示す。
  論文  参考訳（メタデータ） (2022-05-13T17:50:54Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)
• Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\"om method [76.73096213472897]
  我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。 我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。 RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
  論文  参考訳（メタデータ） (2020-02-21T00:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。