論文の概要: Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent

• arxiv url: http://arxiv.org/abs/2205.00058v1
• Date: Fri, 29 Apr 2022 19:37:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-05 11:01:07.414329
• Title: Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent
• Title（参考訳）: ばらつき低減型確率鏡の入射正則化特性
• Authors: Yiling Luo, Xiaoming Huo, Yajun Mei
• Abstract要約: 離散VRSMD推定器列は線形回帰において最小ミラー補間子に収束することを示す。 我々は、真のモデルがスパースである場合に設定したモデル推定精度を導出する。
• 参考スコア（独自算出の注目度）: 7.00422423634143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In machine learning and statistical data analysis, we often run into objective function that is a summation: the number of terms in the summation possibly is equal to the sample size, which can be enormous. In such a setting, the stochastic mirror descent (SMD) algorithm is a numerically efficient method -- each iteration involving a very small subset of the data. The variance reduction version of SMD (VRSMD) can further improve SMD by inducing faster convergence. On the other hand, algorithms such as gradient descent and stochastic gradient descent have the implicit regularization property that leads to better performance in terms of the generalization errors. Little is known on whether such a property holds for VRSMD. We prove here that the discrete VRSMD estimator sequence converges to the minimum mirror interpolant in the linear regression. This establishes the implicit regularization property for VRSMD. As an application of the above result, we derive a model estimation accuracy result in the setting when the true model is sparse. We use numerical examples to illustrate the empirical power of VRSMD.
• Abstract（参考訳）: 機械学習と統計データ分析では、しばしば、和である客観的関数に遭遇する:和の項の数はおそらく、巨大なサンプルサイズに等しい。 このような設定では、確率ミラー降下(SMD)アルゴリズムは数値的に効率的であり、各イテレーションはデータの非常に小さなサブセットを含む。 SMD(VRSMD)の分散低減バージョンは、より高速な収束を誘導することによってさらにSMDを改善することができる。 一方、勾配降下や確率勾配降下のようなアルゴリズムは、一般化誤差の点でより良い性能をもたらす暗黙の正規化特性を持つ。 そのような性質がVRSMDに当てはまるかどうかはほとんど分かっていない。 ここでは、離散的なvrsmd推定列が線形回帰における最小ミラー補間に収束することを示す。 これによりVRSMDの暗黙の正規化特性が確立される。 上記の結果の応用として、真のモデルがばらばらである場合の設定におけるモデル推定精度を導出する。 我々は,VRSMDの実証力を示す数値的な例を用いる。

関連論文リスト

• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• The Generalization Error of Stochastic Mirror Descent on Over-Parametrized Linear Models [37.6314945221565]
  ディープネットワークは、目に見えないデータにうまく一般化することが知られている。 正規化特性は「良い」性質を持つ補間解が見つかることを保証している。 理論を検証し、2つのデータモデルを導入するシミュレーション結果を提案する。
  論文  参考訳（メタデータ） (2023-02-18T22:23:42Z)
• Stochastic Mirror Descent in Average Ensemble Models [38.38572705720122]
  ミラー降下 (SMD) はトレーニングアルゴリズムの一般的なクラスであり、特別な場合として、祝い勾配降下 (SGD) を含む。 本稿では,平均場アンサンブルモデルにおけるミラーポテンシャルアルゴリズムの性能について検討する。
  論文  参考訳（メタデータ） (2022-10-27T11:04:00Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Variance Reduction on Adaptive Stochastic Mirror Descent [23.451652399157002]
  分散低減は、ほとんどの適応ミラー降下アルゴリズムのSFO複雑性を減少させ、それらの収束を加速させることを示す。 深層学習における実験を用いてクレームの有効性を確認します。
  論文  参考訳（メタデータ） (2020-12-26T15:15:51Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Direct loss minimization algorithms for sparse Gaussian processes [9.041035455989181]
  本論文は,疎ガウス過程の予測損失を最小限に抑えるために後部を最適化する直接損失(DLM)を徹底的に検討する。 非共役ケースにおけるDLMの適用は、ログロスDLMの目的における期待の最小化がしばしば引き起こされるため、より複雑である。
  論文  参考訳（メタデータ） (2020-04-07T02:31:00Z)
• Online stochastic gradient descent on non-convex losses from high-dimensional inference [2.2344764434954256]
  勾配降下(SGD)は高次元タスクにおける最適化問題に対する一般的なアルゴリズムである。 本稿では,データから非自明な相関関係を推定する。 本稿では、位相探索や一般化モデルの推定といった一連のタスクに適用することで、我々のアプローチを説明する。
  論文  参考訳（メタデータ） (2020-03-23T17:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。