論文の概要: High-dimensional analysis of double descent for linear regression with random projections

• arxiv url: http://arxiv.org/abs/2303.01372v1
• Date: Thu, 2 Mar 2023 15:58:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 13:33:35.291066
• Title: High-dimensional analysis of double descent for linear regression with random projections
• Title（参考訳）: ランダム投影を用いた線形回帰のための二重降下の高次元解析
• Authors: Francis Bach (SIERRA)
• Abstract要約: ランダムな投影数が異なる線形回帰問題を考察し、固定された予測問題に対する二重降下曲線を確実に示す。 まず、リッジ回帰推定器を考察し、非パラメトリック統計学の古典的概念を用いて先行結果を再解釈する。 次に、最小ノルム最小二乗の一般化性能(バイアスと分散の観点から)の同値をランダムな射影に適合させ、二重降下現象の単純な表現を与える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider linear regression problems with a varying number of random projections, where we provably exhibit a double descent curve for a fixed prediction problem, with a high-dimensional analysis based on random matrix theory. We first consider the ridge regression estimator and re-interpret earlier results using classical notions from non-parametric statistics, namely degrees of freedom, also known as effective dimensionality. In particular, we show that the random design performance of ridge regression with a specific regularization parameter matches the classical bias and variance expressions coming from the easier fixed design analysis but for another larger implicit regularization parameter. We then compute asymptotic equivalents of the generalization performance (in terms of bias and variance) of the minimum norm least-squares fit with random projections, providing simple expressions for the double descent phenomenon.
• Abstract（参考訳）: そこでは, ランダム行列理論に基づく高次元解析を用いて, 固定予測問題に対する二重降下曲線を確実に示す。 まずリッジ回帰推定子を考察し,非パラメトリック統計,すなわち自由度,あるいは有効次元の古典的概念を用いて,先行結果を再解釈する。 特に,特定の正規化パラメータを持つリッジ回帰のランダムな設計性能は,より簡単な固定化解析から得られる古典バイアスと分散式と一致するが,他の大きな暗黙的正規化パラメータに対しては一致しないことを示す。 次に、ランダム射影に適合する最小ノルム最小二乗の一般化性能の漸近同値(バイアスと分散の観点から)を計算し、二重降下現象の簡単な表現を与える。

関連論文リスト

• Adaptive posterior concentration rates for sparse high-dimensional linear regression with random design and unknown error variance [0.0]
  後方に一貫性のある結果を提供し,その濃度を解析する。 我々は,特定の距離測定値を用いたパラメータ推定のための集中結果を確立するために,調査を拡張した。
  論文  参考訳（メタデータ） (2024-05-29T11:57:04Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile [0.0]
  線形回帰に対する尾根推定器の予測リスクを分散プロファイルを用いて検討した。 ある種の分散プロファイルについては、よく知られた二重降下現象の出現に注目した。 また、独立分散データと同一分散データの標準設定で存在する類似点と相違点についても検討する。
  論文  参考訳（メタデータ） (2024-03-29T14:24:49Z)
• Meta-Learning with Generalized Ridge Regression: High-dimensional Asymptotics, Optimality and Hyper-covariance Estimation [14.194212772887699]
  本研究では,高次元ランダム効果線形モデルの枠組みにおけるメタラーニングについて考察する。 本研究では,データ次元がタスク毎のサンプル数に比例して大きくなる場合に,新しいテストタスクに対する予測リスクの正確な振る舞いを示す。 トレーニングタスクのデータに基づいて,逆回帰係数を推定する手法を提案し,解析する。
  論文  参考訳（メタデータ） (2024-03-27T21:18:43Z)
• Time varying regression with hidden linear dynamics [74.9914602730208]
  線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。 反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
  論文  参考訳（メタデータ） (2021-12-29T23:37:06Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Performance of Bayesian linear regression in a model with mismatch [8.60118148262922]
  本研究では,ガウス先行の対数対数対のベイズ分布の平均値から得られる推定器の性能を解析した。 この推論モデルは、スピングラスにおけるガードナーモデルのバージョンとして記述することができる。
  論文  参考訳（メタデータ） (2021-07-14T18:50:13Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。