Fugu-MT 論文翻訳(概要): There is a Singularity in the Loss Landscape

論文の概要: There is a Singularity in the Loss Landscape

arxiv url: http://arxiv.org/abs/2201.06964v1
Date: Wed, 12 Jan 2022 01:50:06 GMT
ステータス: 処理完了
システム内更新日: 2022-01-23 20:06:34.732033
Title: There is a Singularity in the Loss Landscape
Title（参考訳）: ロスランドスケープには特異点があります
Authors: Mark Lowell
Abstract要約: データセットのサイズが大きくなるにつれて、損失の勾配の大きさが無界となる点が形成される。この特異性は、ニューラルネットワーク損失関数のヘッセンで最近観測された様々な現象を説明する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Despite the widespread adoption of neural networks, their training dynamics remain poorly understood. We show experimentally that as the size of the dataset increases, a point forms where the magnitude of the gradient of the loss becomes unbounded. Gradient descent rapidly brings the network close to this singularity in parameter space, and further training takes place near it. This singularity explains a variety of phenomena recently observed in the Hessian of neural network loss functions, such as training on the edge of stability and the concentration of the gradient in a top subspace. Once the network approaches the singularity, the top subspace contributes little to learning, even though it constitutes the majority of the gradient.
Abstract（参考訳）: ニューラルネットワークが広く採用されているにもかかわらず、そのトレーニングダイナミクスはいまだによく分かっていない。実験により、データセットのサイズが大きくなるにつれて、損失の勾配の大きさが無界となる点が形成されることを示した。勾配降下は、パラメータ空間におけるこの特異点に近いネットワークを急速に引き起こし、その近くでさらなる訓練が行われる。この特異性は、安定性のエッジのトレーニングやトップ部分空間における勾配の集中といった、ニューラルネットワーク損失関数のヘシアンで最近観測された様々な現象を説明する。ネットワークが特異点に近づくと、トップ部分空間は勾配の大部分を構成するにもかかわらず学習にほとんど寄与しない。

関連論文リスト

Does SGD really happen in tiny subspaces? [18.283839252425803]
近年の研究では、トレーニング軌道に沿って、勾配がトレーニング損失 Hessian の低ランクトップ固有空間とほぼ一致していることが示されている。本稿では,ニューラルネットワークが支配的な部分空間内でトレーニング可能かどうかを考察し,より効率的なトレーニング手法を提案する。
論文参考訳（メタデータ） (2024-05-25T01:44:35Z)
Early Directional Convergence in Deep Homogeneous Neural Networks for Small Initializations [2.310288676109785]
本稿では、深部均一性ニューラルネットワークのトレーニング時に発生する勾配流れのダイナミクスについて検討する。ニューラルネットワークの重みは標準では小さく、カルーシュ=クーン=タッカー点に沿ってほぼ収束している。
論文参考訳（メタデータ） (2024-03-12T23:17:32Z)
Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
論文参考訳（メタデータ） (2023-10-29T08:47:48Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Gradient flow dynamics of shallow ReLU networks for square loss and orthogonal inputs [19.401271427657395]
勾配降下法によるニューラルネットワークの訓練は、ディープラーニング革命の基盤となっている。本稿では,1つのニューラルネットワークの小さな初期化における平均二乗誤差に対する勾配流のダイナミクスについて述べる。
論文参考訳（メタデータ） (2022-06-02T09:01:25Z)
Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability [94.4070247697549]
ニューラルネットワークトレーニング対象に対するフルバッチ勾配降下は、安定性のエッジと呼ばれるレジームで動作します。この体制では、トレーニング損失 Hessian の最大固有値は2/text(ステップサイズ)$ の数値よりすぐ上にあり、トレーニング損失は短い時間スケールで非単調に振る舞うが、長い時間スケールでは一貫して減少する。
論文参考訳（メタデータ） (2021-02-26T22:08:19Z)
When does gradient descent with logistic loss find interpolating two-layer networks? [51.1848572349154]
また,初期損失が十分小さい場合,勾配降下がトレーニング損失をゼロにすることを示した。データが一定のクラスタと分離条件を満たし、ネットワークが十分に広い場合、勾配降下の一段階が、最初の結果が適用されるほど損失を十分に減少させることを示す。
論文参考訳（メタデータ） (2020-12-04T05:16:51Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
Plateau Phenomenon in Gradient Descent Training of ReLU networks: Explanation, Quantification and Avoidance [0.0]
一般に、ニューラルネットワークは勾配型最適化法によって訓練される。トレーニング開始時に損失関数は急速に低下するが,比較的少数のステップの後に著しく低下する。本研究の目的は,高原現象の根本原因の同定と定量化である。
論文参考訳（メタデータ） (2020-07-14T17:33:26Z)
The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
この軌道上の「破滅的な」点の存在を論じる。トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
論文参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。