Fugu-MT 論文翻訳(概要): Convergence of stochastic gradient descent under a local Lojasiewicz condition for deep neural networks

論文の概要: Convergence of stochastic gradient descent under a local Lojasiewicz condition for deep neural networks

arxiv url: http://arxiv.org/abs/2304.09221v2
Date: Fri, 12 Jan 2024 23:41:44 GMT
ステータス: 処理完了
システム内更新日: 2024-01-18 03:12:48.735341
Title: Convergence of stochastic gradient descent under a local Lojasiewicz condition for deep neural networks
Title（参考訳）: 深部ニューラルネットワークにおける局所Lojasiewicz条件下での確率勾配降下の収束
Authors: Jing An and Jianfeng Lu
Abstract要約: 局所収束の収束を正の勾配で確立する。仮定が持つ有限幅のニューラルネットワークの例を示す。
参考スコア（独自算出の注目度）: 7.9626223030099545
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the convergence of stochastic gradient descent (SGD) for non-convex objective functions. We establish the local convergence with positive probability under the local \L{}ojasiewicz condition introduced by Chatterjee in \cite{chatterjee2022convergence} and an additional local structural assumption of the loss function landscape. A key component of our proof is to ensure that the whole trajectories of SGD stay inside the local region with a positive probability. We also provide examples of neural networks with finite widths such that our assumptions hold.
Abstract（参考訳）: 非凸目的関数に対する確率勾配降下(SGD)の収束について検討した。我々は,chatterjee が \cite{chatterjee2022convergence} に導入した局所的 \l{}ojasiewicz 条件の下で正の確率で局所収束し,損失関数のランドスケープの局所的構造的仮定を付加する。我々の証明の重要な構成要素は、SGDの全軌道が正の確率で局所領域内にあることを保証することである。また、仮定が成り立つような有限幅のニューラルネットワークの例も提供している。

関連論文リスト

Numerically assisted determination of local models in network scenarios [55.2480439325792]
統計的振る舞いを再現する明示的な局所モデルを見つけるための数値ツールを開発する。グリーンベルガー・ホルン・ザイリンガー(GHZ)およびW分布の臨界振動性に関する予想を提供する。開発されたコードとドキュメントは、281.com/mariofilho/localmodelsで公開されている。
論文参考訳（メタデータ） (2023-03-17T13:24:04Z)
From Gradient Flow on Population Loss to Learning with Stochastic Gradient Descent [50.4531316289086]
SGD(Gradient Descent)は、大規模非ルートモデルの学習方法である。集団損失のGFが収束すると仮定して、総合的な条件 SGD が収束する。我々は、凸損失のような古典的な設定だけでなく、Retrieval Matrix sq-rootのようなより複雑な問題に対してもGD/SGDを統一的に解析する。
論文参考訳（メタデータ） (2022-10-13T03:55:04Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Local Stochastic Factored Gradient Descent for Distributed Quantum State Tomography [10.623470454359431]
局所因子グラディエント蛍光(局所SFGD) 量子状態トモグラフィー (Quantum State Tomography, QST) プロトコル。局所的なSFGDは、一定のステップサイズを持つ線形速度で、大域の小さな近傍に局所的に収束する。
論文参考訳（メタデータ） (2022-03-22T10:03:16Z)
Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文参考訳（メタデータ） (2022-02-02T20:11:33Z)
On generalization bounds for deep networks based on loss surface implicit regularization [5.68558935178946]
現代のディープニューラルネットワークは、多くのパラメータにもかかわらずよく一般化されている。現在のディープニューラルネットワークは、多くのパラメータが古典的な統計的学習理論と矛盾するにもかかわらず、よく一般化されている。
論文参考訳（メタデータ） (2022-01-12T16:41:34Z)
Convergence of stochastic gradient descent schemes for Lojasiewicz-landscapes [0.0]
我々は、下層景観の弱い仮定の下で勾配降下スキームの収束を考察する。特に、ソフトプラス、シグモイド、双曲型タンジェントなどの解析活性化機能を持つニューラルネットワークの場合、SGDは有界な状態に収束することを示す。
論文参考訳（メタデータ） (2021-02-16T12:42:25Z)
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文参考訳（メタデータ） (2020-10-19T15:23:18Z)
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。