論文の概要: On the Universality of the Double Descent Peak in Ridgeless Regression

• arxiv url: http://arxiv.org/abs/2010.01851v8
• Date: Tue, 1 Aug 2023 12:36:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 18:46:13.243381
• Title: On the Universality of the Double Descent Peak in Ridgeless Regression
• Title（参考訳）: リッジレス回帰における二重降下ピークの普遍性について
• Authors: David Holzm\"uller
• Abstract要約: リッジレス線形回帰におけるラベルノイズに起因する平均2乗誤差の非漸近分布非依存的下界を証明した。 我々の下界は、過大化(補間)体制と同じような既知の結果を一般化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove a non-asymptotic distribution-independent lower bound for the expected mean squared generalization error caused by label noise in ridgeless linear regression. Our lower bound generalizes a similar known result to the overparameterized (interpolating) regime. In contrast to most previous works, our analysis applies to a broad class of input distributions with almost surely full-rank feature matrices, which allows us to cover various types of deterministic or random feature maps. Our lower bound is asymptotically sharp and implies that in the presence of label noise, ridgeless linear regression does not perform well around the interpolation threshold for any of these feature maps. We analyze the imposed assumptions in detail and provide a theory for analytic (random) feature maps. Using this theory, we can show that our assumptions are satisfied for input distributions with a (Lebesgue) density and feature maps given by random deep neural networks with analytic activation functions like sigmoid, tanh, softplus or GELU. As further examples, we show that feature maps from random Fourier features and polynomial kernels also satisfy our assumptions. We complement our theory with further experimental and analytic results.
• Abstract（参考訳）: リッジレス線形回帰におけるラベルノイズに起因する平均二乗汎化誤差に対する非漸近分布非依存下界を証明した。 我々の下界は、過パラメータ化(補間)体制と同じような既知の結果を一般化する。 これまでのほとんどの研究とは対照的に、我々の分析は、ほぼ確実にフルランクの特徴行列を持つ幅広い入力分布に適用され、様々なタイプの決定論的あるいはランダムな特徴写像をカバーできる。 我々の下界は漸近的に鋭く、ラベルノイズの存在下では、リッジレス線形回帰はこれらの特徴写像の補間しきい値付近でうまく機能しない。 入力された仮定を詳細に分析し,解析的(ランダム)特徴写像の理論を提供する。 この理論を用いて,Sigmoid, tanh, softplus, GELUなどの分析活性化関数を持つランダムディープニューラルネットワークによって与えられる,(リーベグ)密度の入力分布と特徴写像について,我々の仮定が満足していることを示す。 さらなる例として、ランダムなフーリエ特徴量と多項式カーネルからの特徴写像も仮定を満たすことを示す。 我々は我々の理論をさらなる実験的および分析的な結果で補完する。

関連論文リスト

• Dimension-free deterministic equivalents and scaling laws for random feature regression [11.607594737176973]
  テスト誤差は特徴写像固有値のみに依存する閉形式式によってよく近似されていることを示す。 特に、近似保証は非漸近的で乗法的であり、特徴写像次元とは独立である。
  論文  参考訳（メタデータ） (2024-05-24T16:43:26Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Ridgeless Regression with Random Features [23.41536146432726]
  本研究では,無作為な特徴と勾配降下を伴う隆起性回帰の統計的特性について検討した。 トレーニング中のカーネルのスペクトル密度を最適化する可変カーネルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-01T14:25:08Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Harmless interpolation in regression and classification with structured features [21.064512161584872]
  過度にパラメータ化されたニューラルネットワークは、ノイズの多いトレーニングデータに完全に適合するが、テストデータではうまく一般化する。 再生カーネルヒルベルト空間における上界回帰と分類リスクの一般かつ柔軟な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-11-09T15:12:26Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Adversarial Estimation of Riesz Representers [21.510036777607397]
  一般関数空間を用いてRiesz表現子を推定する逆フレームワークを提案する。 臨界半径(Critical radius)と呼ばれる抽象的な量で非漸近平均平方レートを証明し、ニューラルネットワーク、ランダムな森林、カーネルヒルベルト空間を主要なケースとして再現する。
  論文  参考訳（メタデータ） (2020-12-30T19:46:57Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。