論文の概要: Shape Matters: Understanding the Implicit Bias of the Noise Covariance

• arxiv url: http://arxiv.org/abs/2006.08680v2
• Date: Thu, 18 Jun 2020 03:34:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 03:25:04.706366
• Title: Shape Matters: Understanding the Implicit Bias of the Noise Covariance
• Title（参考訳）: 形状問題:ノイズ共分散の暗黙のバイアスを理解する
• Authors: Jeff Z. HaoChen, Colin Wei, Jason D. Lee, Tengyu Ma
• Abstract要約: 勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
• 参考スコア（独自算出の注目度）: 76.54300276636982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The noise in stochastic gradient descent (SGD) provides a crucial implicit regularization effect for training overparameterized models. Prior theoretical work largely focuses on spherical Gaussian noise, whereas empirical studies demonstrate the phenomenon that parameter-dependent noise -- induced by mini-batches or label perturbation -- is far more effective than Gaussian noise. This paper theoretically characterizes this phenomenon on a quadratically-parameterized model introduced by Vaskevicius et el. and Woodworth et el. We show that in an over-parameterized setting, SGD with label noise recovers the sparse ground-truth with an arbitrary initialization, whereas SGD with Gaussian noise or gradient descent overfits to dense solutions with large norms. Our analysis reveals that parameter-dependent noise introduces a bias towards local minima with smaller noise variance, whereas spherical Gaussian noise does not. Code for our project is publicly available.
• Abstract（参考訳）: 確率勾配降下(SGD)のノイズは、過パラメータ化モデルのトレーニングに重要な暗黙の正規化効果をもたらす。 従来の理論研究は主に球面ガウスノイズに焦点が当てられているが、実験的な研究は、最小バッチやラベル摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 本稿では,この現象をVaskevicius et elによって導入された二次パラメータモデルで理論的に特徴づける。 ウッドワースなど。 過パラメータ化環境では、ラベルノイズを持つSGDは任意の初期化でスパースグラウンドトルースを回復するが、ガウスノイズまたは勾配降下を持つSGDは大きなノルムを持つ密解に過度に適合することを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。 私たちのプロジェクトのコードは公開されています。

関連論文リスト

• Doubly Stochastic Models: Learning with Unbiased Label Noises and Inference Stability [85.1044381834036]
  勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。 そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。 我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
  論文  参考訳（メタデータ） (2023-04-01T14:09:07Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Multiview point cloud registration with anisotropic and space-varying localization noise [1.5499426028105903]
  我々は,高異方性定位雑音で劣化した複数点の雲を登録する問題に対処する。 既存の手法は、空間不変等方性雑音の暗黙の仮定に基づいている。 ノイズハンドリング戦略は,高レベルの異方性雑音に対するロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2022-01-03T15:21:24Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Revisiting the Characteristics of Stochastic Gradient Noise and Dynamics [25.95229631113089]
  勾配雑音は有限分散を持ち、したがって中央極限定理(CLT)が適用されることを示す。 次に、勾配降下の定常分布の存在を実証し、その分布を少ない学習速度で近似する。
  論文  参考訳（メタデータ） (2021-09-20T20:39:14Z)
• Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
  我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。 この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。 そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
  論文  参考訳（メタデータ） (2021-02-13T21:28:09Z)
• On Minibatch Noise: Discrete-Time SGD, Overparametrization, and Bayes [2.6763498831034043]
  ミニバッチサンプリングによる勾配降下(SGD)の騒音は未だよく分かっていない。 ミニバッチサンプリングが必ずしも変動を引き起こすとは限らないという観測に感銘を受けて,ミニバッチノイズを発生させる条件を見出した。
  論文  参考訳（メタデータ） (2021-02-10T10:38:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。