論文の概要: Bias-variance decomposition of overparameterized regression with random linear features

• arxiv url: http://arxiv.org/abs/2203.05443v1
• Date: Thu, 10 Mar 2022 16:09:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-11 15:26:00.925076
• Title: Bias-variance decomposition of overparameterized regression with random linear features
• Title（参考訳）: ランダム線形特徴を持つ過パラメータ回帰のバイアス分散分解
• Authors: Jason W. Rocks, Pankaj Mehta
• Abstract要約: パラメータ化モデル」は、トレーニングデータに完全に適合するのに十分な数のパラメータが適合している場合でも、過度に適合しないようにする。 ヘッセン行列の非零固有値が小さいため、各遷移がどのように生じるかを示す。 ランダムな線形特徴モデルの位相図とランダムな非線形特徴モデルと通常の回帰とを比較して比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In classical statistics, the bias-variance trade-off describes how varying a model's complexity (e.g., number of fit parameters) affects its ability to make accurate predictions. According to this trade-off, optimal performance is achieved when a model is expressive enough to capture trends in the data, yet not so complex that it overfits idiosyncratic features of the training data. Recently, it has become clear that this classic understanding of the bias-variance must be fundamentally revisited in light of the incredible predictive performance of "overparameterized models" -- models that avoid overfitting even when the number of fit parameters is large enough to perfectly fit the training data. Here, we present results for one of the simplest examples of an overparameterized model: regression with random linear features (i.e. a two-layer neural network with a linear activation function). Using the zero-temperature cavity method, we derive analytic expressions for the training error, test error, bias, and variance. We show that the linear random features model exhibits three phase transitions: two different transitions to an interpolation regime where the training error is zero, along with an additional transition between regimes with large bias and minimal bias. Using random matrix theory, we show how each transition arises due to small nonzero eigenvalues in the Hessian matrix. Finally, we compare and contrast the phase diagram of the random linear features model to the random nonlinear features model and ordinary regression, highlighting the new phase transitions that result from the use of linear basis functions.
• Abstract（参考訳）: 古典統計学において、バイアス分散トレードオフは、モデルの複雑さ(例えば、適合パラメータの数)が正確な予測を行う能力にどのように影響するかを記述する。 このトレードオフによると、モデルがデータのトレンドを捉えるのに十分な表現力を持つ場合に最適なパフォーマンスが達成されるが、トレーニングデータの慣用的な特徴に過度に適合するほど複雑ではない。 近年、このバイアス分散の古典的な理解は、「過剰パラメータモデル」の驚くべき予測性能に照らして、基本的に再検討されなければならないことが明らかになっている。 ここでは、過パラメータ化モデルの最も単純な例の1つとして、ランダムな線形特徴を持つ回帰(線形アクティベーション関数を持つ2層ニューラルネットワーク)を示す。 ゼロ温度キャビティ法を用いて, トレーニング誤差, テスト誤差, バイアス, 分散の解析式を導出する。 線形ランダム特徴モデルは3つの相転移を示す: トレーニング誤差がゼロである補間系への2つの異なる遷移と、バイアスが大きくバイアスが最小な系間の付加的な遷移である。 ランダム行列理論を用いて、ヘッセン行列の小さな非ゼロ固有値によって各遷移がどのように生じるかを示す。 最後に、ランダムな線形特徴モデルの位相図とランダムな非線形特徴モデルと通常の回帰とを比較して、線形基底関数の使用による新たな位相遷移を強調した。

関連論文リスト

• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Adaptive Optimization for Prediction with Missing Data [6.800113478497425]
  適応線形回帰モデルの中には,命令規則と下流線形回帰モデルを同時に学習するのと等価なものもある。 ランダムにデータの欠落が強くない環境では,本手法はサンプル外精度を2～10%向上させる。
  論文  参考訳（メタデータ） (2024-02-02T16:35:51Z)
• Analysis of Interpolating Regression Models and the Double Descent Phenomenon [3.883460584034765]
  ノイズの多いトレーニングデータを補間するモデルは、一般化に乏しいと一般的に推測されている。 得られた最良のモデルは過度にパラメータ化され、テストエラーはモデル順序が増加するにつれて二重降下挙動を示す。 回帰行列の最小特異値の振舞いに基づいて、テスト誤差のピーク位置と二重降下形状をモデル順序の関数として説明する。
  論文  参考訳（メタデータ） (2023-04-17T09:44:33Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• The Geometry of Over-parameterized Regression and Adversarial Perturbations [0.0]
  パラメータ化モデルと過度パラメータ化モデルの両方に適用可能な回帰の幾何学的解釈を提案する。 逆摂動はバイアスモデルの基本形状から生じる一般的な特徴であることを示す。
  論文  参考訳（メタデータ） (2021-03-25T19:52:08Z)
• Memorizing without overfitting: Bias, variance, and interpolation in over-parameterized models [0.0]
  バイアス分散トレードオフは教師あり学習における中心的な概念である。 現代のDeep Learningメソッドは、最先端のパフォーマンスを達成するために、このドグマを浮かび上がらせる。
  論文  参考訳（メタデータ） (2020-10-26T22:31:04Z)
• Non-parametric Models for Non-negative Functions [48.7576911714538]
  同じ良い線形モデルから非負関数に対する最初のモデルを提供する。 我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
  論文  参考訳（メタデータ） (2020-07-08T07:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。