論文の概要: Noise Regularizes Over-parameterized Rank One Matrix Recovery, Provably

• arxiv url: http://arxiv.org/abs/2202.03535v1
• Date: Mon, 7 Feb 2022 21:53:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 15:25:19.113936
• Title: Noise Regularizes Over-parameterized Rank One Matrix Recovery, Provably
• Title（参考訳）: オーバーパラメータ付きランク1マトリクスリカバリにおける雑音の定式化
• Authors: Tianyi Liu, Yan Li, Enlu Zhou and Tuo Zhao
• Abstract要約: 階数 1 の行列 $Y*$ by $XXtop$ をパラメータ化します。 次に,2乗損失関数を用いたランダムな摂動勾配降下法により得られた推定値の平均2乗誤差が$O(sigma2/d)$であることを示す。 対照的に、ランダムな摂動を伴わない勾配降下から得られる推定器は、平均2乗誤差が$O(sigma2)$となる。
• 参考スコア（独自算出の注目度）: 42.427869499882206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the role of noise in optimization algorithms for learning over-parameterized models. Specifically, we consider the recovery of a rank one matrix $Y^*\in R^{d\times d}$ from a noisy observation $Y$ using an over-parameterization model. We parameterize the rank one matrix $Y^*$ by $XX^\top$, where $X\in R^{d\times d}$. We then show that under mild conditions, the estimator, obtained by the randomly perturbed gradient descent algorithm using the square loss function, attains a mean square error of $O(\sigma^2/d)$, where $\sigma^2$ is the variance of the observational noise. In contrast, the estimator obtained by gradient descent without random perturbation only attains a mean square error of $O(\sigma^2)$. Our result partially justifies the implicit regularization effect of noise when learning over-parameterized models, and provides new understanding of training over-parameterized neural networks.
• Abstract（参考訳）: 過パラメータモデル学習のための最適化アルゴリズムにおけるノイズの役割について検討する。 具体的には,次数 1 の行列 $Y^*\in R^{d\times d}$ を,過パラメータ化モデルを用いたノイズ観測 $Y$ から回収する。 階数 1 の行列 $Y^*$ by $XX^\top$ ここで、$X\in R^{d\times d}$ をパラメータ化する。 そこで, 軽度条件下では, 正方形損失関数を用いたランダム摂動勾配降下アルゴリズムにより得られた推定器は, 平均2乗誤差がo(\sigma^2/d)$となり, ここで, $\sigma^2$ が観測ノイズの分散であることを示す。 対照的に、ランダムな摂動を伴わない勾配降下から得られる推定子は、平均2乗誤差が$O(\sigma^2)$となる。 本結果は,過パラメータ化モデル学習における雑音の暗黙的正規化効果を部分的に正当化し,過パラメータ化ニューラルネットワークのトレーニングの新たな理解を提供する。

関連論文リスト

• Variable Selection in Convex Piecewise Linear Regression [5.366354612549172]
  本稿では,凸片方向線形回帰における変数選択の解としてスパース勾配を提案する。 亜ガウス雑音下でのSpGDには非漸近局所収束解析が提供される。
  論文  参考訳（メタデータ） (2024-11-04T16:19:09Z)
• Inverting the Leverage Score Gradient: An Efficient Approximate Newton Method [10.742859956268655]
  本稿では,レバレッジスコア勾配から固有モデルパラメータを復元することを目的とする。 具体的には、レバレッジスコア勾配の逆転を$g(x)$として精査する。
  論文  参考訳（メタデータ） (2024-08-21T01:39:42Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Mirror Natural Evolution Strategies [10.495496415022064]
  我々は、ゼロ階探索で近似された一階情報と二階情報の両方を利用するゼロ階最適化理論に焦点をあてる。 我々は、textttMiNES の推定共分散行列が、目的関数のヘッセン行列の逆行列に収束することを示す。
  論文  参考訳（メタデータ） (2023-08-01T11:45:24Z)
• Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
  最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
  論文  参考訳（メタデータ） (2022-11-29T18:38:40Z)
• (Nearly) Optimal Private Linear Regression via Adaptive Clipping [22.639650869444395]
  固定されたガウス型分布から各データ点をサンプリングする微分プライベート線形回帰問題について検討する。 本稿では,各イテレーションの点を置換せずにサンプリングする1パスのミニバッチ勾配勾配法(DP-AMBSSGD)を提案し,解析する。
  論文  参考訳（メタデータ） (2022-07-11T08:04:46Z)
• Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs [111.75736569611159]
  線形混合MDPのための計算効率のよい初めての地平線フリーアルゴリズムを提案する。 我々のアルゴリズムは、未知の遷移力学に対する重み付き最小二乗推定器に適応する。 これにより、$sigma_k2$'sが知られているときに、この設定で最もよく知られたアルゴリズムも改善される。
  論文  参考訳（メタデータ） (2022-05-23T17:59:18Z)
• Randomized Exploration for Reinforcement Learning with General Value Function Approximation [122.70803181751135]
  本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。 提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。 我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
  論文  参考訳（メタデータ） (2021-06-15T02:23:07Z)
• Truncated Linear Regression in High Dimensions [26.41623833920794]
  truncated linear regression において、従属変数 $(A_i, y_i)_i$ は $y_i= A_irm T cdot x* + eta_i$ は固定された未知の興味ベクトルである。 目標は、$A_i$とノイズ分布に関するいくつかの好ましい条件の下で$x*$を回復することである。 我々は、$k$-sparse $n$-dimensional vectors $x*$ from $m$ truncated sample。
  論文  参考訳（メタデータ） (2020-07-29T00:31:34Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。