論文の概要: The Directional Bias Helps Stochastic Gradient Descent to Generalize in
Kernel Regression Models
- arxiv url: http://arxiv.org/abs/2205.00061v1
- Date: Fri, 29 Apr 2022 19:44:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-05 10:13:52.577090
- Title: The Directional Bias Helps Stochastic Gradient Descent to Generalize in
Kernel Regression Models
- Title(参考訳): Directional Biasはカーネル回帰モデルにおける確率的勾配の一般化を支援する
- Authors: Yiling Luo, Xiaoming Huo, Yajun Mei
- Abstract要約: 非パラメトリック統計学におけるグラディエント・Descent (SGD) アルゴリズムについて検討する。
線形回帰設定で知られているSGDの方向性バイアス特性は、カーネル回帰に一般化される。
- 参考スコア(独自算出の注目度): 7.00422423634143
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the Stochastic Gradient Descent (SGD) algorithm in nonparametric
statistics: kernel regression in particular. The directional bias property of
SGD, which is known in the linear regression setting, is generalized to the
kernel regression. More specifically, we prove that SGD with moderate and
annealing step-size converges along the direction of the eigenvector that
corresponds to the largest eigenvalue of the Gram matrix. In addition, the
Gradient Descent (GD) with a moderate or small step-size converges along the
direction that corresponds to the smallest eigenvalue. These facts are referred
to as the directional bias properties; they may interpret how an SGD-computed
estimator has a potentially smaller generalization error than a GD-computed
estimator. The application of our theory is demonstrated by simulation studies
and a case study that is based on the FashionMNIST dataset.
- Abstract(参考訳): 非パラメトリック統計学ではSGD(Stochastic Gradient Descent)アルゴリズムについて検討する。
線形回帰設定で知られているSGDの方向性バイアス特性は、カーネル回帰に一般化される。
より具体的には、中程度でアニーリングのステップサイズを持つsgdが、グラム行列の最大固有値に対応する固有ベクトルの方向に沿って収束することを示す。
さらに、中等度または小さいステップサイズの勾配 Descent (GD) は、最小の固有値に対応する方向に沿って収束する。
これらの事実は方向バイアス特性と呼ばれ、SGD計算された推定器がGD計算された推定器よりも潜在的に小さい一般化誤差を持つことを解釈することができる。
本理論の応用はシミュレーション研究とFashionMNISTデータセットに基づくケーススタディにより実証された。
関連論文リスト
- Risk Bounds of Accelerated SGD for Overparameterized Linear Regression [75.27846230182885]
加速度勾配降下(ASGD)は、深層学習におけるワークホースである。
既存の最適化理論は、ASGDのより高速な収束を説明することしかできないが、より優れた一般化を説明することはできない。
論文 参考訳(メタデータ) (2023-11-23T23:02:10Z) - Spectrum-Aware Adjustment: A New Debiasing Framework with Applications
to Principal Component Regression [1.5863809575305419]
我々は高次元線形回帰のための新しいデバイアス化フレームワークを導入する。
特徴量とサンプルの数が大小を問わず比較できるような,一般的な設定について検討する。
本手法は,自由度デバイアスをマージンで上回ることを示す。
論文 参考訳(メタデータ) (2023-09-14T15:58:30Z) - Implicit Bias of Gradient Descent for Logistic Regression at the Edge of
Stability [69.01076284478151]
機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く
本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
論文 参考訳(メタデータ) (2023-05-19T16:24:47Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Direction Matters: On the Implicit Bias of Stochastic Gradient Descent
with Moderate Learning Rate [105.62979485062756]
本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。
SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
論文 参考訳(メタデータ) (2020-11-04T21:07:52Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - The Heavy-Tail Phenomenon in SGD [7.366405857677226]
最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。
深層学習におけるSGDの行動に関する知見に分析結果を変換する。
論文 参考訳(メタデータ) (2020-06-08T16:43:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。