論文の概要: Dropout Regularization Versus $\ell_2$-Penalization in the Linear Model
- arxiv url: http://arxiv.org/abs/2306.10529v1
- Date: Sun, 18 Jun 2023 11:17:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 20:02:46.765505
- Title: Dropout Regularization Versus $\ell_2$-Penalization in the Linear Model
- Title(参考訳): 線形モデルにおけるDropout Regularization Versus $\ell_2$-Penalization
- Authors: Gabriel Clara, Sophie Langer, Johannes Schmidt-Hieber
- Abstract要約: 線形回帰モデルにおける降下を伴う勾配降下の統計的挙動について検討する。
結果は、勾配降下ダイナミクスとドロップアウトによって引き起こされる追加のランダム性の間の相互作用により、より微妙な関係を示す。
- 参考スコア(独自算出の注目度): 1.7188280334580197
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We investigate the statistical behavior of gradient descent iterates with
dropout in the linear regression model. In particular, non-asymptotic bounds
for expectations and covariance matrices of the iterates are derived. In
contrast with the widely cited connection between dropout and
$\ell_2$-regularization in expectation, the results indicate a much more subtle
relationship, owing to interactions between the gradient descent dynamics and
the additional randomness induced by dropout. We also study a simplified
variant of dropout which does not have a regularizing effect and converges to
the least squares estimator.
- Abstract(参考訳): 線形回帰モデルにおける降下を伴う勾配降下の統計的挙動について検討する。
特に、イテレートの期待と共分散行列に対する非漸近境界が導出される。
期待値におけるドロップアウトと$\ell_2$-レギュライゼーションの相関が広く引用されているのとは対照的に、この結果は勾配降下ダイナミクスとドロップアウトによって引き起こされる追加のランダム性との相互作用により、はるかに微妙な関係を示している。
また,正規化効果を持たず,最小二乗推定器に収束するドロップアウトの簡易変種についても検討した。
関連論文リスト
- A U-turn on Double Descent: Rethinking Parameter Counting in Statistical
Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。
これは二重降下と統計的直観の間の緊張を解消する。
論文 参考訳(メタデータ) (2023-10-29T12:05:39Z) - Convergence guarantees for forward gradient descent in the linear
regression model [6.436174170552484]
本研究では, 生物学的に動機づけられた(重み付けされた)前方勾配スキームについて, 勾配のランダムな線形結合に基づく検討を行った。
この方法の平均二乗誤差が$kgtrsim d2log(d)$に対して$d2log(d)/k.$で収束することを証明する。
論文 参考訳(メタデータ) (2023-09-26T15:15:10Z) - A Unified Analysis of Multi-task Functional Linear Regression Models
with Manifold Constraint and Composite Quadratic Penalty [0.0]
マルチタスク学習のパワーは、傾斜関数に付加的な構造を課すことによってもたらされる。
合成ペナルティは、多様体曲率の定量化に役立つ特定のノルムを誘導することを示す。
縮小ランクモデルとグラフラプラシア正規化モデルに統一収束上限を求め、特に適用する。
論文 参考訳(メタデータ) (2022-11-09T13:32:23Z) - More is Less: Inducing Sparsity via Overparameterization [2.885175627590247]
ディープラーニングでは、ニューラルネットワークを過度にパラメータ化する、すなわち、トレーニングサンプルよりも多くのパラメータを使用することが一般的である。
驚くほど驚くべきことに、(確率的な)勾配勾配によるニューラルネットワークを一般化すると、それは非常にうまく行く。
我々の証明は、流れのあるブレグマンの発散を分析することに依存している。
論文 参考訳(メタデータ) (2021-12-21T07:55:55Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳(メタデータ) (2021-08-25T22:01:01Z) - On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。
ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。
ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
論文 参考訳(メタデータ) (2021-07-27T09:13:11Z) - Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。
そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
論文 参考訳(メタデータ) (2021-06-03T09:34:17Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳(メタデータ) (2021-02-06T15:05:14Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳(メタデータ) (2020-06-04T21:51:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。