Fugu-MT 論文翻訳(概要): Noise-induced degeneration in online learning

論文の概要: Noise-induced degeneration in online learning

arxiv url: http://arxiv.org/abs/2008.10498v5
Date: Sat, 4 Dec 2021 23:52:53 GMT
ステータス: 処理完了
システム内更新日: 2022-10-25 11:42:11.521128
Title: Noise-induced degeneration in online learning
Title（参考訳）: オンライン学習におけるノイズ誘発変性
Authors: Yuzuru Sato, Daiji Tsutsui, and Akio Fujiwara
Abstract要約: 定性勾配下降では観測されない騒音による変性として高原現象が出現することを示す。ここで観察されるノイズによる変性は、ニューラルネットワークによる幅広い機械学習のクラスで見られることが期待されている。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In order to elucidate the plateau phenomena caused by vanishing gradient, we herein analyse stability of stochastic gradient descent near degenerated subspaces in a multi-layer perceptron. In stochastic gradient descent for Fukumizu-Amari model, which is the minimal multi-layer perceptron showing non-trivial plateau phenomena, we show that (1) attracting regions exist in multiply degenerated subspaces, (2) a strong plateau phenomenon emerges as a noise-induced synchronisation, which is not observed in deterministic gradient descent, (3) an optimal fluctuation exists to minimise the escape time from the degenerated subspace. The noise-induced degeneration observed herein is expected to be found in a broad class of machine learning via neural networks.
Abstract（参考訳）: 傾斜の消失に伴う高原現象を解明するため, 多層パーセプトロンの劣化部分空間近傍の確率勾配勾配の安定性の解析を行った。非自明な高原現象を示す最小の多層パーセプトロンである福水阿利模型の確率勾配下降では,(1)多層劣化部分空間に誘引領域が存在すること,(2)強い高原現象が雑音誘起同期として出現すること,(3)劣化部分空間からの脱出時間を最小化するために最適なゆらぎが存在すること,などが示されている。ここで観察されるノイズによる変性は、ニューラルネットワークによる幅広い機械学習のクラスで見られることが期待されている。

関連論文リスト

Leveraging the two timescale regime to demonstrate convergence of neural networks [1.2328446298523066]
ニューラルネットワークのトレーニング力学を2時間体制で研究する。勾配勾配勾配は最適流動勾配の記述に従って振る舞うが、この体制の外では失敗する可能性があることを示す。
論文参考訳（メタデータ） (2023-04-19T11:27:09Z)
Stochastic Gradient Descent-Induced Drift of Representation in a Two-Layer Neural Network [0.0]
脳や人工ネットワークで観察されているにもかかわらず、ドリフトのメカニズムとその意味は完全には理解されていない。ピリフォーム大脳皮質における刺激依存性のドリフトに関する最近の実験結果に触発されて、我々はこの現象を2層線形フィードフォワードネットワークで研究するために理論とシミュレーションを用いた。
論文参考訳（メタデータ） (2023-02-06T04:56:05Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
論文参考訳（メタデータ） (2022-06-08T21:32:50Z)
High-Order Qubit Dephasing at Sweet Spots by Non-Gaussian Fluctuators: Symmetry Breaking and Floquet Protection [55.41644538483948]
非ガウスゆらぎによるqubit dephasingについて検討した。非ガウス雑音に特有の対称性破壊効果を予測する。
論文参考訳（メタデータ） (2022-06-06T18:02:38Z)
Gradient flow dynamics of shallow ReLU networks for square loss and orthogonal inputs [19.401271427657395]
勾配降下法によるニューラルネットワークの訓練は、ディープラーニング革命の基盤となっている。本稿では,1つのニューラルネットワークの小さな初期化における平均二乗誤差に対する勾配流のダイナミクスについて述べる。
論文参考訳（メタデータ） (2022-06-02T09:01:25Z)
There is a Singularity in the Loss Landscape [0.0]
データセットのサイズが大きくなるにつれて、損失の勾配の大きさが無界となる点が形成される。この特異性は、ニューラルネットワーク損失関数のヘッセンで最近観測された様々な現象を説明する。
論文参考訳（メタデータ） (2022-01-12T01:50:06Z)
Revisiting the Characteristics of Stochastic Gradient Noise and Dynamics [25.95229631113089]
勾配雑音は有限分散を持ち、したがって中央極限定理(CLT)が適用されることを示す。次に、勾配降下の定常分布の存在を実証し、その分布を少ない学習速度で近似する。
論文参考訳（メタデータ） (2021-09-20T20:39:14Z)
The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文参考訳（メタデータ） (2021-08-25T22:01:01Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。