Fugu-MT 論文翻訳(概要): On the Convergence of Gradient Descent Training for Two-layer ReLU-networks in the Mean Field Regime

論文の概要: On the Convergence of Gradient Descent Training for Two-layer ReLU-networks in the Mean Field Regime

arxiv url: http://arxiv.org/abs/2005.13530v1
Date: Wed, 27 May 2020 17:54:17 GMT
ステータス: 処理完了
システム内更新日: 2022-11-28 08:38:45.318881
Title: On the Convergence of Gradient Descent Training for Two-layer ReLU-networks in the Mean Field Regime
Title（参考訳）: 平均場レジームにおける2層reLU-networksのグラディエントDescenceトレーニングの収束性について
Authors: Stephan Wojtowytsch
Abstract要約: 一方向初期パラメータ分布を持つ平均場状態における降下により2層 ReLU-networks を訓練する際,ベイズリスクの最小化に必要な条件について述べる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We describe a necessary and sufficient condition for the convergence to minimum Bayes risk when training two-layer ReLU-networks by gradient descent in the mean field regime with omni-directional initial parameter distribution. This article extends recent results of Chizat and Bach to ReLU-activated networks and to the situation in which there are no parameters which exactly achieve MBR. The condition does not depend on the initalization of parameters and concerns only the weak convergence of the realization of the neural network, not its parameter distribution.
Abstract（参考訳）: 一方向初期パラメータ分布を持つ平均場状態における勾配勾配による2層ReLU-networksのトレーニングにおいて,ベイズリスクの最小化に必要な条件について述べる。本稿では、chizat と bach の最近の結果を relu-activated network に適用し、正確に mbr を達成するパラメータが存在しない状況に適用する。この条件はパラメータのイタライゼーションに依存しず、パラメータ分布ではなく、ニューラルネットワークの実現の弱い収束のみに関係している。

関連論文リスト

Benign Overfitting for Regression with Trained Two-Layer ReLU Networks [14.36840959836957]
本稿では,2層完全連結ニューラルネットワークを用いた最小二乗回帰問題と,勾配流によるReLU活性化関数について検討する。最初の結果は一般化結果であり、基礎となる回帰関数や、それらが有界であること以外のノイズを仮定する必要はない。
論文参考訳（メタデータ） (2024-10-08T16:54:23Z)
Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文参考訳（メタデータ） (2024-03-14T21:48:00Z)
Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文参考訳（メタデータ） (2023-09-12T13:03:47Z)
Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
論文参考訳（メタデータ） (2023-05-30T19:16:44Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
How do noise tails impact on deep ReLU networks? [2.5889847253961418]
非パラメトリック回帰関数のクラスにおける最適収束速度が p, 滑らか度, 内在次元に依存することを示す。我々はまた、深部ReLUニューラルネットワークの近似理論に関する新しい結果にも貢献する。
論文参考訳（メタデータ） (2022-03-20T00:27:32Z)
Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks [1.14219428942199]
本研究では,1つの隠れ層フィードフォワードニューラルネットワークのクラスに対して,勾配降下アルゴリズムのグローバル収束に必要な過パラメトリゼーション境界について検討する。
論文参考訳（メタデータ） (2022-01-28T11:30:06Z)
On the Global Convergence of Gradient Descent for multi-layer ResNets in the mean-field regime [19.45069138853531]
一階法は、グローバル化された体制におけるグローバルな最適性を見出す。 ResNetが十分に大きく、精度と信頼度に応じて深さ幅がある場合、一階法はデータに適合する最適化を見つけることができる。
論文参考訳（メタデータ） (2021-10-06T17:16:09Z)
Boundary Uncertainty in a Single-Stage Temporal Action Localization Network [12.364819165688628]
両方の不確実性モデリング手法により,mAP@tIoU=0.5で1.5%以上の検出性能が向上することを示す。提案する単純な1段ネットワークは,より複雑な1段ネットワークと2段ネットワークに近接して動作する。
論文参考訳（メタデータ） (2020-08-25T17:04:39Z)
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文参考訳（メタデータ） (2020-06-22T14:31:37Z)
Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
論文参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。