Fugu-MT 論文翻訳(概要): Generalization Performance of Empirical Risk Minimization on Over-parameterized Deep ReLU Nets

論文の概要: Generalization Performance of Empirical Risk Minimization on Over-parameterized Deep ReLU Nets

arxiv url: http://arxiv.org/abs/2111.14039v1
Date: Sun, 28 Nov 2021 03:22:22 GMT
ステータス: 処理完了
システム内更新日: 2021-11-30 17:30:50.198696
Title: Generalization Performance of Empirical Risk Minimization on Over-parameterized Deep ReLU Nets
Title（参考訳）: 過パラメータディープリルーネットにおける経験的リスク最小化の一般化性能
Authors: Shao-Bo Lin, Yao Wang, Ding-Xuan Zhou
Abstract要約: 穏やかな条件下で多数のデータに対してほぼ最適な一般化誤差境界を達成できる完全大域最小値が存在することを証明した。その結果,最適化と一般化のギャップを埋めることができた。
参考スコア（独自算出の注目度）: 32.67448097790934
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we study the generalization performance of global minima for implementing empirical risk minimization (ERM) on over-parameterized deep ReLU nets. Using a novel deepening scheme for deep ReLU nets, we rigorously prove that there exist perfect global minima achieving almost optimal generalization error bounds for numerous types of data under mild conditions. Since over-parameterization is crucial to guarantee that the global minima of ERM on deep ReLU nets can be realized by the widely used stochastic gradient descent (SGD) algorithm, our results indeed fill a gap between optimization and generalization.
Abstract（参考訳）: 本稿では,過パラメータ化深層ReLUネット上で経験的リスク最小化(ERM)を実現するためのグローバルミニマの一般化性能について検討する。深層ReLUネットに対する新たな深層化手法を用いて、穏やかな条件下で多数のデータに対してほぼ最適な一般化誤差境界を達成できる完全大域ミニマが存在することを厳密に証明する。深層リールネット上のermの大域的最小値が広く用いられている確率的勾配降下(sgd)アルゴリズムによって実現できることを保証するためには,過剰パラメータ化が不可欠である。

関連論文リスト

A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
論文参考訳（メタデータ） (2024-06-06T01:52:09Z)
Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文参考訳（メタデータ） (2024-03-14T21:48:00Z)
Implicit Full Waveform Inversion with Deep Neural Representation [91.3755431537592]
連続的かつ暗黙的に定義されたディープニューラル表現を用いた暗黙完全波形逆変換(IFWI)アルゴリズムを提案する。理論的および実験的解析は、ランダムな初期モデルが与えられた場合、IFWIが大域的な最小値に収束できることを示している。 IFWIは、様々な2次元地質モデルの実験で実証される、ある程度の堅牢性と強い一般化能力を持っている。
論文参考訳（メタデータ） (2022-09-08T01:54:50Z)
Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。理論的知見は実験によってさらに検証される。
論文参考訳（メタデータ） (2022-06-18T07:22:57Z)
Sample-efficient Iterative Lower Bound Optimization of Deep Reactive Policies for Planning in Continuous MDPs [27.41101006357176]
本研究では,最小化-最大化の観点から反復的に最適化する。 w.r.t.は局所的に厳密な下界の目的である。反復的下界最適化(ILBO)としての学習の新たな定式化は、(i)各ステップが全体目標よりも構造的に容易に最適化できるため、特に魅力的である。実験的な評価により、ILBOは最先端のプランナーよりもはるかに試料効率が高いことが確認された。
論文参考訳（メタデータ） (2022-03-23T19:06:16Z)
Low-Pass Filtering SGD for Recovering Flat Optima in the Deep Learning Optimization Landscape [15.362190838843915]
LPF-SGD は SGD よりも小さい一般化誤差でより良い最適点に収束することを示す。本稿では,一般的なDLトレーニング手法と比較して,アルゴリズムが優れた一般化性能を実現することを示す。
論文参考訳（メタデータ） (2022-01-20T07:13:04Z)
On the Global Convergence of Gradient Descent for multi-layer ResNets in the mean-field regime [19.45069138853531]
一階法は、グローバル化された体制におけるグローバルな最適性を見出す。 ResNetが十分に大きく、精度と信頼度に応じて深さ幅がある場合、一階法はデータに適合する最適化を見つけることができる。
論文参考訳（メタデータ） (2021-10-06T17:16:09Z)
A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
論文参考訳（メタデータ） (2021-07-23T19:38:17Z)
On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
論文参考訳（メタデータ） (2021-02-24T04:47:55Z)
Regularizing Neural Networks via Adversarial Model Perturbation [43.40255637985682]
この研究は、実験的リスクの平坦な局所最小値がモデルをより一般化させるという理解に基づいて、新たな正規化スキームを提案する。経験的リスクを直接最小化する代わりに、代替の"AMP損失"をSGDを介して最小化する。
論文参考訳（メタデータ） (2020-10-10T07:01:00Z)
Globally-convergent Iteratively Reweighted Least Squares for Robust Regression Problems [15.823258699608994]
我々は、ロバスト回帰問題に対するIRLS(暫定的に重み付けされた最小二乗)に対する最初のグローバルモデル回復結果を提供する。我々は、保証されたグローバルリカバリを提供するだけでなく、実際にロバストレグレッションのための最先端のアルゴリズムよりも優れている基本IRLSルーチンの拡張を提案する。
論文参考訳（メタデータ） (2020-06-25T07:16:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。