論文の概要: Understanding Implicit Regularization in Over-Parameterized Single Index Model

• arxiv url: http://arxiv.org/abs/2007.08322v3
• Date: Mon, 15 Nov 2021 14:56:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 22:49:41.176747
• Title: Understanding Implicit Regularization in Over-Parameterized Single Index Model
• Title（参考訳）: 過パラメータ単一指数モデルにおける暗黙的正規化の理解
• Authors: Jianqing Fan, Zhuoran Yang, Mengxin Yu
• Abstract要約: 我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
• 参考スコア（独自算出の注目度）: 55.41685740015095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we leverage over-parameterization to design regularization-free algorithms for the high-dimensional single index model and provide theoretical guarantees for the induced implicit regularization phenomenon. Specifically, we study both vector and matrix single index models where the link function is nonlinear and unknown, the signal parameter is either a sparse vector or a low-rank symmetric matrix, and the response variable can be heavy-tailed. To gain a better understanding of the role played by implicit regularization without excess technicality, we assume that the distribution of the covariates is known a priori. For both the vector and matrix settings, we construct an over-parameterized least-squares loss function by employing the score function transform and a robust truncation step designed specifically for heavy-tailed data. We propose to estimate the true parameter by applying regularization-free gradient descent to the loss function. When the initialization is close to the origin and the stepsize is sufficiently small, we prove that the obtained solution achieves minimax optimal statistical rates of convergence in both the vector and matrix cases. In addition, our experimental results support our theoretical findings and also demonstrate that our methods empirically outperform classical methods with explicit regularization in terms of both $\ell_2$-statistical rate and variable selection consistency.
• Abstract（参考訳）: 本稿では,高次元単一指数モデルに対する正規化フリーアルゴリズムの設計と,誘導的暗黙的正規化現象に対する理論的保証を提供する。 具体的には、リンク関数が非線形かつ未知であり、信号パラメータがスパースベクトルまたは低ランク対称行列のいずれかであり、応答変数が重畳できるベクトルおよび行列単一指数モデルについて検討する。 過剰な技術性を伴わずに暗黙の正規化によって果たす役割をよりよく理解するために、共変量の分布は優先順位として知られていると仮定する。 ベクトルと行列の設定の両方において、スコア関数変換と重み付きデータ専用に設計されたロバストトラクテーションステップを用いて、過パラメータ最小二乗損失関数を構築する。 正規化なし勾配降下を損失関数に適用して真のパラメータを推定する。 初期化が原点に近く、段差が十分に小さいとき、得られた解がベクトルと行列の両方の場合の収束の最小最適統計速度を達成することを証明した。 さらに, 実験結果から, 従来の手法よりも, $\ell_2$-statistical rate と変数選択一貫性の両面で, 明示的な正則化を経験的に上回っていることを示す。

関連論文リスト

• On confidence intervals for precision matrices and the eigendecomposition of covariance matrices [20.20416580970697]
  本稿では,固定次元の共分散行列の固有ベクトルの個々のエントリに対する信頼性境界の計算に挑戦する。 逆共分散行列、いわゆる精度行列の成分を束縛する手法を導出する。 これらの結果の応用として,精度行列の非ゼロ値のテストを可能にする新しい統計テストを示す。
  論文  参考訳（メタデータ） (2022-08-25T10:12:53Z)
• Algorithmic Regularization in Model-free Overparametrized Asymmetric Matrix Factorization [16.325663190517773]
  我々は、任意の過パラメータ化を持つ自然な非定式化の下で、非対称な分解問題を考察する。 観測された行列に対して最高の低ランク近似を生成する。
  論文  参考訳（メタデータ） (2022-03-06T00:07:53Z)
• Optimal prediction for kernel-based semi-functional linear regression [5.827901300943599]
  半関数線形モデルにおける予測のための収束の最小値を求める。 その結果, よりスムーズな関数成分は, 非パラメトリック成分が知られているようなミニマックス速度で学習できることが判明した。
  論文  参考訳（メタデータ） (2021-10-29T04:55:44Z)
• Weight Vector Tuning and Asymptotic Analysis of Binary Linear Classifiers [82.5915112474988]
  本稿では,スカラーによる判別器の分解をパラメータ化することで,ジェネリックバイナリ線形分類器の重みベクトルチューニングを提案する。 また,重みベクトルチューニングは,高推定雑音下での線形判別分析(LDA)の性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2021-10-01T17:50:46Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Beyond Procrustes: Balancing-Free Gradient Descent for Asymmetric Low-Rank Matrix Sensing [36.96922859748537]
  低ランク行列推定は、科学と工学のさまざまなアプリケーションで中心的な役割を果たします。 既存のアプローチは、2つの行列因子のスケールのバランスをとるために計量正規化項を加えることに頼っている。 本論文では,低ランク行列の線形測定値の少ない値から回復する性能の理論的正当化について述べる。
  論文  参考訳（メタデータ） (2021-01-13T15:03:52Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。