論文の概要: Noisy Gradient Descent Converges to Flat Minima for Nonconvex Matrix Factorization

• arxiv url: http://arxiv.org/abs/2102.12430v1
• Date: Wed, 24 Feb 2021 17:50:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-25 13:39:32.983608
• Title: Noisy Gradient Descent Converges to Flat Minima for Nonconvex Matrix Factorization
• Title（参考訳）: 非凸行列因子化のための平板最小値への雑音勾配のDescent Converges
• Authors: Tianyi Liu, Yan Li, Song Wei, Enlu Zhou and Tuo Zhao
• Abstract要約: 本稿では,非最適化問題における雑音の重要性について考察する。 勾配勾配勾配は、入射雑音によって決定される大域バイアスに収束する任意の大域的な形式に収束できることを示す。
• 参考スコア（独自算出の注目度）: 36.182992409810446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous empirical evidences have corroborated the importance of noise in nonconvex optimization problems. The theory behind such empirical observations, however, is still largely unknown. This paper studies this fundamental problem through investigating the nonconvex rectangular matrix factorization problem, which has infinitely many global minima due to rotation and scaling invariance. Hence, gradient descent (GD) can converge to any optimum, depending on the initialization. In contrast, we show that a perturbed form of GD with an arbitrary initialization converges to a global optimum that is uniquely determined by the injected noise. Our result implies that the noise imposes implicit bias towards certain optima. Numerical experiments are provided to support our theory.
• Abstract（参考訳）: 多数の経験的証拠は、非凸最適化問題におけるノイズの重要性を裏付けている。 しかし、このような経験的観測の背後にある理論はほとんど不明である。 本稿では、回転とスケーリングの不変性により無限に多くの大域的ミニマを持つ非凸長方形行列因子分解問題について考察する。 したがって、勾配降下(GD)は初期化に応じて任意の最適に収束することができる。 対照的に、任意の初期化を持つ摂動形式のGDが、入射雑音によって一意に決定される大域的最適度に収束することを示す。 その結果、ノイズは特定のオプティマに対して暗黙のバイアスを課す。 我々の理論を支持するための数値実験が提供されている。

関連論文リスト

• On the phase diagram of extensive-rank symmetric matrix denoising beyond rotational invariance [5.058205542605482]
  隠れ信号が係数行列 $XXintercal$ で回転不変でないとき、行列の分解の理解に向けて前進する。 我々は、因子化(すなわち、$X$自身を推定する)が符号と置換普遍性(英語版)(Sign and permutation universality)に到達できるのは、遷移を超えてのみであると主張する。 我々はまた、因子化(すなわち、$X$自身を推定する)が符号と置換普遍性(英語版)(Sign and permutation universality)に到達できるのは、遷移を超えてのみであると主張する。
  論文  参考訳（メタデータ） (2024-11-04T10:50:37Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Robust Matrix Completion with Heavy-tailed Noise [0.5837881923712392]
  本稿では,重み付き潜在的非対称雑音の存在下での低ランク行列の完全性について検討する。 本稿では,大規模かつ非対称な誤りに対して頑健な重み付き雑音に適応するハマー損失を適応的に適用する。 誤差の2番目のモーメント条件下では、ユークリッド誤差は最小値の統計的推定誤差に到達するまで幾何的に早く落ちることが証明される。
  論文  参考訳（メタデータ） (2022-06-09T04:48:48Z)
• Minimax Optimization: The Case of Convex-Submodular [50.03984152441271]
  ミニマックス問題は連続領域を超えて連続離散領域や完全離散領域にまで拡張される。 連続変数に関して目的が凸であり、離散変数に関して部分モジュラーであるような凸-部分モジュラーミニマックス問題のクラスを導入する。 提案アルゴリズムは反復的であり、離散最適化と連続最適化の両方のツールを組み合わせる。
  論文  参考訳（メタデータ） (2021-11-01T21:06:35Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• On the Role of Entropy-based Loss for Learning Causal Structures with Continuous Optimization [27.613220411996025]
  因果構造学習問題を最小二乗損失を用いた連続最適化問題として定式化する。 ガウス雑音の仮定に違反すると因果方向の同定が妨げられることを示す。 より一般的なエントロピーに基づく損失は、任意の雑音分布下での確率スコアと理論的に一致している。
  論文  参考訳（メタデータ） (2021-06-05T08:29:51Z)
• Towards Resolving the Implicit Bias of Gradient Descent for Matrix Factorization: Greedy Low-Rank Learning [19.82453283089643]
  マトリックスファクタリゼーションは、降下勾配の暗黙の正規化を調べるためのシンプルで自然なテストベッドです。 深さ2行列分解では、無限小初期化を伴う流れは単純な階数最小化アルゴリズムと数学的に等価であることを示す。
  論文  参考訳（メタデータ） (2020-12-17T18:57:01Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。