Fugu-MT 論文翻訳(概要): Global Convergence of SGD On Two Layer Neural Nets

論文の概要: Global Convergence of SGD On Two Layer Neural Nets

arxiv url: http://arxiv.org/abs/2210.11452v1
Date: Thu, 20 Oct 2022 17:50:46 GMT
ステータス: 処理完了
システム内更新日: 2022-10-21 14:14:42.701921
Title: Global Convergence of SGD On Two Layer Neural Nets
Title（参考訳）: 2層ニューラルネットワーク上でのSGDのグローバル収束
Authors: Pulkit Gopalani and Anirbit Mukherjee
Abstract要約: 我々は,SGDのグローバル・ミニマに適切に正規化された$ell-$empirical risk of depth $2$ netsの証明可能な収束性を示す。鍵となるアイデアは、"ビラニ関数"である一定サイズのニューラルネットにおける損失関数の存在を示すことである。
参考スコア（独自算出の注目度）: 0.7614628596146599
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this note we demonstrate provable convergence of SGD to the global minima of appropriately regularized $\ell_2-$empirical risk of depth $2$ nets -- for arbitrary data and with any number of gates, if they are using adequately smooth and bounded activations like sigmoid and tanh. We build on the results in [1] and leverage a constant amount of Frobenius norm regularization on the weights, along with sampling of the initial weights from an appropriate distribution. We also give a continuous time SGD convergence result that also applies to smooth unbounded activations like SoftPlus. Our key idea is to show the existence loss functions on constant sized neural nets which are "Villani Functions".
Abstract（参考訳）: 本稿では,sgmoid や tanh のような十分に滑らかで有界なアクティベーションを使用している場合,任意のデータと任意の数のゲートに対して$\ell_2-$empirical risk of depth$$ nets -- を適切に正規化した$\ell_2-$empirical risk of depth $2$ nets -- のグローバルミニマへの sgd の収束を示す。我々は [1] で結果の上に構築し、適切な分布から初期重みのサンプリングとともに、重みに対するフロベニウスノルム正規化の定数量を利用する。また、SoftPlusのようなスムーズな非有界活性化にも適用可能な連続時間SGD収束結果を与える。私たちのキーとなるアイデアは、"ヴィラニ関数"である一定サイズのニューラルネット上の損失関数を示すことです。

関連論文リスト

On the Trajectories of SGD Without Replacement [0.0]
本稿では,グラディエントDescence(SGD)の暗黙的正則化効果について検討する。我々は、大規模なニューラルネットワークを最適化するために一般的に使用される変種である、置換のないSGDの場合を考える。
論文参考訳（メタデータ） (2023-12-26T18:06:48Z)
Global Convergence of SGD For Logistic Loss on Two Layer Neural Nets [0.20482269513546453]
我々は,SGDのグローバル・ミニマへの第一種収束性を示す。鍵となる考え方は、定数サイズのニューラルネット上のフロベニウスノルム正規化ロジスティック損失関数の存在を示すことである。
論文参考訳（メタデータ） (2023-09-17T12:44:07Z)
From Gradient Flow on Population Loss to Learning with Stochastic Gradient Descent [50.4531316289086]
SGD(Gradient Descent)は、大規模非ルートモデルの学習方法である。集団損失のGFが収束すると仮定して、総合的な条件 SGD が収束する。我々は、凸損失のような古典的な設定だけでなく、Retrieval Matrix sq-rootのようなより複雑な問題に対してもGD/SGDを統一的に解析する。
論文参考訳（メタデータ） (2022-10-13T03:55:04Z)
Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文参考訳（メタデータ） (2022-09-19T18:48:00Z)
Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
論文参考訳（メタデータ） (2022-02-27T13:25:01Z)
On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。理論的にも経験的にも二重降下現象を観察する。
論文参考訳（メタデータ） (2021-10-13T17:47:39Z)
SGD: The Role of Implicit Regularization, Batch-size and Multiple-epochs [30.41773138781369]
本稿では,現実に一般的に用いられているグラディエント・ディファイス(SGD)のマルチエポックな変種について述べる。最悪の場合、これはシングルパスSGDと同程度であることを示す。 SCOの特定の問題に対して、データセットに複数のパスを取ることは、シングルパスSGDを著しく上回る。
論文参考訳（メタデータ） (2021-07-11T15:50:01Z)
Momentum Improves Normalized SGD [51.27183254738711]
モーメントを追加することで、目的に対する大きなバッチサイズの必要性を確実に排除できることを示す。本稿では,ResNet-50 や BERT といった大規模タスクの事前学習において,提案手法が有効であることを示す。
論文参考訳（メタデータ） (2020-02-09T07:00:54Z)
On the Generalization of Stochastic Gradient Descent with Momentum [84.54924994010703]
運動量に基づく勾配降下(SGD)の加速変種は、機械学習モデルを訓練する際に広く用いられる。まず,標準重球運動量(SGDM)を持つSGDの複数のエポックに対する安定性ギャップが非有界となる凸損失関数が存在することを示す。滑らかなリプシッツ損失関数に対しては、修正モーメントベースの更新規則、すなわち、幅広いステップサイズで初期運動量(SGDEM)を解析する。
論文参考訳（メタデータ） (2018-09-12T17:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。