Fugu-MT 論文翻訳(概要): Dropout Regularization Versus $\ell

論文の概要: Dropout Regularization Versus $\ell_2$-Penalization in the Linear Model

arxiv url: http://arxiv.org/abs/2306.10529v2
Date: Thu, 25 Apr 2024 13:53:09 GMT
ステータス: 処理完了
システム内更新日: 2024-04-27 00:07:23.905998
Title: Dropout Regularization Versus $\ell_2$-Penalization in the Linear Model
Title（参考訳）: 線形モデルにおけるDropout Regularization Versus $\ell_2$-Penalization
Authors: Gabriel Clara, Sophie Langer, Johannes Schmidt-Hieber,
Abstract要約: 線形回帰モデルにおける降下を伴う勾配降下の統計的挙動について検討する。我々は、勾配勾配勾配のダイナミクスと、ドロップアウトによって引き起こされる追加のランダム性の間の相互作用により、より微妙な関係を示す。
参考スコア（独自算出の注目度）: 7.032245866317619
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We investigate the statistical behavior of gradient descent iterates with dropout in the linear regression model. In particular, non-asymptotic bounds for the convergence of expectations and covariance matrices of the iterates are derived. The results shed more light on the widely cited connection between dropout and l2-regularization in the linear model. We indicate a more subtle relationship, owing to interactions between the gradient descent dynamics and the additional randomness induced by dropout. Further, we study a simplified variant of dropout which does not have a regularizing effect and converges to the least squares estimator
Abstract（参考訳）: 線形回帰モデルにおける降下を伴う勾配降下の統計的挙動について検討する。特に、期待と共分散行列の収束に対する非漸近境界が導出される。その結果、線形モデルにおけるドロップアウトとl2-正則化の間の広く引用される関係についてより光を当てた。我々は、勾配勾配勾配のダイナミクスと、ドロップアウトによって引き起こされる追加のランダム性の間の相互作用により、より微妙な関係を示す。さらに、正規化効果を持たず最小二乗推定器に収束する簡易なドロップアウト変種について検討する。

関連論文リスト

A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。これは二重降下と統計的直観の間の緊張を解消する。
論文参考訳（メタデータ） (2023-10-29T12:05:39Z)
Convergence guarantees for forward gradient descent in the linear regression model [5.448070998907116]
本研究では, 生物学的に動機づけられた(重み付けされた)前方勾配スキームについて, 勾配のランダムな線形結合に基づく検討を行った。この方法の平均二乗誤差が$kgtrsim d2log(d)$に対して$d2log(d)/k.$で収束することを証明する。
論文参考訳（メタデータ） (2023-09-26T15:15:10Z)
Dynamical chaos in nonlinear Schr\"odinger models with subquadratic power nonlinearity [137.6408511310322]
ランダムポテンシャルと準4次パワー非線形性を持つ非線形シュリンガー格子のクラスを扱う。拡散過程は亜拡散性であり, 微細構造が複雑であることを示す。二次パワー非線形性の限界も議論され、非局在化境界をもたらすことが示されている。
論文参考訳（メタデータ） (2023-01-20T16:45:36Z)
Gradient flow in the gaussian covariate model: exact solution of learning curves and multiple descent structures [14.578025146641806]
一般化曲線の全時間進化を完全かつ統一的に解析する。この理論予測は,現実的なデータセットよりも勾配降下によって得られる学習曲線と適切に一致していることを示す。
論文参考訳（メタデータ） (2022-12-13T17:39:18Z)
A Unified Analysis of Multi-task Functional Linear Regression Models with Manifold Constraint and Composite Quadratic Penalty [0.0]
マルチタスク学習のパワーは、傾斜関数に付加的な構造を課すことによってもたらされる。合成ペナルティは、多様体曲率の定量化に役立つ特定のノルムを誘導することを示す。縮小ランクモデルとグラフラプラシア正規化モデルに統一収束上限を求め、特に適用する。
論文参考訳（メタデータ） (2022-11-09T13:32:23Z)
The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文参考訳（メタデータ） (2021-08-25T22:01:01Z)
On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
論文参考訳（メタデータ） (2021-07-27T09:13:11Z)
Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
論文参考訳（メタデータ） (2021-06-03T09:34:17Z)
Lower Bounds on the Generalization Error of Nonlinear Learning Models [2.1030878979833467]
本稿では,多層ニューラルネットワークから導出したモデルの一般化誤差に対する下限について,学習データ中のサンプル数と層の大きさが一致した状況下で検討する。偏りのない推定器は,このような非線形ネットワークでは受け入れられない性能を示す。線形回帰や2層ネットワークの場合、一般偏差推定器の明示的な一般化の下界を導出する。
論文参考訳（メタデータ） (2021-03-26T20:37:54Z)
Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。暗黙正則化現象の理論的保証を提供する。
論文参考訳（メタデータ） (2020-07-16T13:27:47Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。