論文の概要: Dimensionality reduction, regularization, and generalization in overparameterized regressions

• arxiv url: http://arxiv.org/abs/2011.11477v2
• Date: Wed, 20 Oct 2021 02:49:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 01:26:30.599607
• Title: Dimensionality reduction, regularization, and generalization in overparameterized regressions
• Title（参考訳）: 過パラメータ回帰における次元化、正規化、一般化
• Authors: Ningyuan Huang and David W. Hogg and Soledad Villar
• Abstract要約: 主成分回帰(主成分回帰)としても知られるPCA-OLSは次元の減少によって回避できることを示す。 OLSは任意に敵の攻撃を受けやすいが,次元性低下はロバスト性を向上させることを示す。 その結果,プロジェクションがトレーニングデータに依存する手法は,トレーニングデータとは独立にプロジェクションが選択される手法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 8.615625517708324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Overparameterization in deep learning is powerful: Very large models fit the training data perfectly and yet often generalize well. This realization brought back the study of linear models for regression, including ordinary least squares (OLS), which, like deep learning, shows a "double-descent" behavior: (1) The risk (expected out-of-sample prediction error) can grow arbitrarily when the number of parameters $p$ approaches the number of samples $n$, and (2) the risk decreases with $p$ for $p>n$, sometimes achieving a lower value than the lowest risk for $p<n$. The divergence of the risk for OLS can be avoided with regularization. In this work, we show that for some data models it can also be avoided with a PCA-based dimensionality reduction (PCA-OLS, also known as principal component regression). We provide non-asymptotic bounds for the risk of PCA-OLS by considering the alignments of the population and empirical principal components. We show that dimensionality reduction improves robustness while OLS is arbitrarily susceptible to adversarial attacks, particularly in the overparameterized regime. We compare PCA-OLS theoretically and empirically with a wide range of projection-based methods, including random projections, partial least squares (PLS), and certain classes of linear two-layer neural networks. These comparisons are made for different data generation models to assess the sensitivity to signal-to-noise and the alignment of regression coefficients with the features. We find that methods in which the projection depends on the training data can outperform methods where the projections are chosen independently of the training data, even those with oracle knowledge of population quantities, another seemingly paradoxical phenomenon that has been identified previously. This suggests that overparameterization may not be necessary for good generalization.
• Abstract（参考訳）: ディープラーニングにおける過度パラメータ化は強力です。 非常に大きなモデルはトレーニングデータに完全に適合しますが、しばしば一般化します。 この実現により、通常の最小二乗法(ols)を含む回帰の線形モデルの研究が復活し、深層学習と同様に、(1)パラメータ数がn$のサンプル数に近づくとリスク(予想外の予測誤差)が任意に増大し、(2)リスクは$p$の$p$で減少し、時には$p<n$の最低リスクよりも低い値となる。 OLSのリスクの分散は、正規化によって回避できる。 本研究では,いくつかのデータモデルにおいて,pca-based dimensionality reduction (pca-ols,principal component regression) によっても回避できることを示す。 我々は,PCA-OLSのリスクに対して,集団と経験的主成分のアライメントを考慮した非漸近的境界を提供する。 我々は,OLSが敵攻撃,特に過パラメータ化体制において任意に受容される間,次元性低下はロバスト性を向上させることを示した。 我々はPCA-OLSを、ランダムプロジェクション、部分最小二乗(PLS)、線形二層ニューラルネットワークのある種のクラスを含む、幅広い射影に基づく手法と理論的、実験的に比較した。 これらの比較は異なるデータ生成モデルに対して行われ、信号対雑音に対する感度と回帰係数と特徴とのアライメントを評価する。 提案手法は, 個体数に関するオラクル知識を持つ者であっても, 訓練データに依存した投射が訓練データとは独立に選択される方法よりも優れていることがわかった。 このことは、良い一般化には過パラメータ化は必要ないことを示唆している。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Analysis of Bootstrap and Subsampling in High-dimensional Regularized Regression [29.57766164934947]
  統計モデルの不確実性を推定するための一般的な再サンプリング手法について検討する。 一般化線形モデル(英語版)の文脈において、これらの手法によって推定されるバイアスと分散の厳密な記述を提供する。
  論文  参考訳（メタデータ） (2024-02-21T08:50:33Z)
• Handling Overlapping Asymmetric Datasets -- A Twice Penalized P-Spline Approach [0.40964539027092917]
  本研究の目的は,特定の応答に対してより小さなコホートをモデル化できる新しい手法を開発することである。 線形B-SplineとP-Spline近似の2倍のペナル化手法により、線形B-SplineとP-Spline近似との適合性が向上することがわかった。 非アルコール性脂肪肝炎の発症リスクに関する実生活データセットに適用すると、モデル適合性は65%以上向上する。
  論文  参考訳（メタデータ） (2023-11-17T12:41:07Z)
• Transfer Learning with Random Coefficient Ridge Regression [2.0813318162800707]
  ランダム係数のリッジ回帰は、高次元設定における固定係数回帰の重要な代替となる。 本稿では,移動学習の設定におけるランダム係数リッジ回帰の推定と予測について考察する。
  論文  参考訳（メタデータ） (2023-06-28T04:36:37Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Benign-Overfitting in Conditional Average Treatment Effect Prediction with Linear Regression [14.493176427999028]
  線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。 一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
  論文  参考訳（メタデータ） (2022-02-10T18:51:52Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
  この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。 主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
  論文  参考訳（メタデータ） (2020-02-06T22:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。