Fugu-MT 論文翻訳(概要): On non-approximability of zero loss global ${\mathcal L}^2$ minimizers by gradient descent in Deep Learning

論文の概要: On non-approximability of zero loss global ${\mathcal L}^2$ minimizers by gradient descent in Deep Learning

arxiv url: http://arxiv.org/abs/2311.07065v2
Date: Tue, 21 Jan 2025 05:48:22 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-22 14:18:26.998779
Title: On non-approximability of zero loss global ${\mathcal L}^2$ minimizers by gradient descent in Deep Learning
Title（参考訳）: ディープラーニングにおける勾配降下によるゼロ損失大域${\mathcal L}^2$最小化器の非近似性について
Authors: Thomas Chen, Patricia Muñoz Ewald,
Abstract要約: ディープラーニング(DL)における勾配降下アルゴリズムの幾何学的側面の解析トレーニング入力の分布は、損失最小化のため、必ずしも非ジェネリックでなければならないと結論付けている。
参考スコア（独自算出の注目度）: 1.189367612437469
License:
Abstract: We analyze geometric aspects of the gradient descent algorithm in Deep Learning (DL), and give a detailed discussion of the circumstance that in underparametrized DL networks, zero loss minimization can generically not be attained. As a consequence, we conclude that the distribution of training inputs must necessarily be non-generic in order to produce zero loss minimizers, both for the method constructed in [Chen-Munoz Ewald 2023, 2024], or for gradient descent [Chen 2025] (which assume clustering of training data).
Abstract（参考訳）: 我々は,Deep Learning(DL)における勾配降下アルゴリズムの幾何学的側面を解析し,パラメータの低いDLネットワークにおいて,ゼロ損失最小化が一般に達成できない状況について詳細に考察する。その結果、[Chen-Munoz Ewald 2023, 2024] で構築された手法と[Chen-Munoz Ewald 2025] (トレーニングデータのクラスタリングを前提とした) で構築された手法の両方において、トレーニング入力の分布はゼロ損失最小化のために必ずしも非ジェネリックでなければならないと結論付けた。

関連論文リスト

How to guess a gradient [68.98681202222664]
我々は、勾配が以前考えられていたよりもより構造化されていることを示す。この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
論文参考訳（メタデータ） (2023-12-07T21:40:44Z)
Approximation Results for Gradient Descent trained Neural Networks [0.0]
ネットワークは完全に接続された一定の深さ増加幅である。連続カーネルエラーノルムは、滑らかな関数に必要な自然な滑らかさの仮定の下での近似を意味する。
論文参考訳（メタデータ） (2023-09-09T18:47:55Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-07T03:52:27Z)
Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。本稿では,完全勾配の必要性を除去する。集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
論文参考訳（メタデータ） (2021-11-26T06:00:44Z)
Continuous vs. Discrete Optimization of Deep Neural Networks [15.508460240818575]
均一な活性化を伴う深層ニューラルネットワーク上では、勾配流軌跡が良好な曲率を享受できることが示される。この発見により、深い線形ニューラルネットワーク上の勾配流の解析を、勾配勾配が効率的に大域最小限に収束することを保証できる。我々は、勾配流の理論が深層学習の背後にある謎の解き放つ中心となると仮定する。
論文参考訳（メタデータ） (2021-07-14T10:59:57Z)
Deep orthogonal linear networks are shallow [9.434391240650266]
勾配勾配降下による重みのトレーニングは、勾配勾配降下による全因子化のトレーニングと等価であることを示す。これは、この設定では過度なパラメータ化と暗黙のバイアスがまったく影響しないことを意味する。
論文参考訳（メタデータ） (2020-11-27T16:57:19Z)
Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
論文参考訳（メタデータ） (2020-10-01T16:48:33Z)
The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent [28.148743710421932]
ミニバッチ勾配勾配(SGD)アルゴリズムは機械学習モデルのトレーニングに広く用いられている。線形回帰および2層線形ネットワーク下でのSGDダイナミクスについて検討し,より深い線形ネットワークへの拡張を容易にする。
論文参考訳（メタデータ） (2020-04-27T20:06:11Z)
Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。