Fugu-MT 論文翻訳(概要): Global Convergence of Sobolev Training for Overparameterized Neural Networks

論文の概要: Global Convergence of Sobolev Training for Overparameterized Neural Networks

arxiv url: http://arxiv.org/abs/2006.07928v2
Date: Sat, 15 Aug 2020 19:04:21 GMT
ステータス: 処理完了
システム内更新日: 2022-11-21 12:56:39.450829
Title: Global Convergence of Sobolev Training for Overparameterized Neural Networks
Title（参考訳）: 過パラメータニューラルネットワークのためのソボレフトレーニングのグローバル収束
Authors: Jorio Cocola, Paul Hand
Abstract要約: ソボレフ損失は、所定の入力点のセットで対象関数の値と微分を近似するためにネットワークを訓練する際に用いられる。近年の研究では、蒸留や合成勾配予測といった様々なタスクにおいて、その成功例が示されている。
参考スコア（独自算出の注目度）: 10.474108328884807
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sobolev loss is used when training a network to approximate the values and derivatives of a target function at a prescribed set of input points. Recent works have demonstrated its successful applications in various tasks such as distillation or synthetic gradient prediction. In this work we prove that an overparameterized two-layer relu neural network trained on the Sobolev loss with gradient flow from random initialization can fit any given function values and any given directional derivatives, under a separation condition on the input data.
Abstract（参考訳）: ソボレフ損失は、所定の入力点のセットで対象関数の値と微分を近似するためにネットワークを訓練する際に用いられる。近年の研究では、蒸留や合成勾配予測のような様々なタスクでの成功が実証されている。本研究では,ランダム初期化からの勾配流を伴うソボレフ損失を学習した2層reluニューラルネットワークが,入力データの分離条件下で任意の関数値と任意の方向導関数に適合することを示す。

関連論文リスト

Approximation Results for Gradient Descent trained Neural Networks [0.0]
ネットワークは完全に接続された一定の深さ増加幅である。連続カーネルエラーノルムは、滑らかな関数に必要な自然な滑らかさの仮定の下での近似を意味する。
論文参考訳（メタデータ） (2023-09-09T18:47:55Z)
Implicit regularization of deep residual networks towards neural ODEs [8.075122862553359]
我々は、ニューラルネットワークに対する深い残留ネットワークの暗黙的な正規化を確立する。ネットワークがニューラルなODEの離散化であるなら、そのような離散化はトレーニングを通して維持される。
論文参考訳（メタデータ） (2023-09-03T16:35:59Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
The Dynamics of Gradient Descent for Overparametrized Neural Networks [19.11271777632797]
GD の下でのニューラルネットワークの重みのダイナミクスは、最小ノルム解に近い点に収束することを示した。この結果の応用を説明するために、gd はよく一般化された勾配関数に収束することを示す。
論文参考訳（メタデータ） (2021-05-13T22:20:30Z)
Universal scaling laws in the gradient descent training of neural networks [10.508187462682308]
学習軌跡は,大きな訓練時間に明示的な境界によって特徴づけられることを示す。結果は,期待される損失に基づいて訓練された大規模ネットワークの進化のスペクトル解析に基づいている。
論文参考訳（メタデータ） (2021-05-02T16:46:38Z)
Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文参考訳（メタデータ） (2021-03-01T08:25:26Z)
Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。上記の問題に対処するための特徴歪み法(Disout)を提案する。より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。