論文の概要: On the existence of minimizers in shallow residual ReLU neural network
optimization landscapes
- arxiv url: http://arxiv.org/abs/2302.14690v1
- Date: Tue, 28 Feb 2023 16:01:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 15:38:24.705481
- Title: On the existence of minimizers in shallow residual ReLU neural network
optimization landscapes
- Title（参考訳）: 浅層残留reluニューラルネットワーク最適化ランドスケープにおける最小値の存在について
- Authors: Steffen Dereich, Arnulf Jentzen, Sebastian Kassing
- Abstract要約: 実際の関連する学習問題では、GD最適化プロセスが境界を保ち続けるように、ANNアーキテクチャを設計することが望ましいと考えられる。
特に、GDトラジェクトリは、誤差関数(対象関数)の無限小が最適化ランドスケープで達成されない場合、無限大に逃れることができる。
このことは、最適化ランドスケープにおける最小化器の存在に関する疑問を自然に提起する。
- 参考スコア（独自算出の注目度）: 2.1055643409860743
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many mathematical convergence results for gradient descent (GD) based
algorithms employ the assumption that the GD process is (almost surely) bounded
and, also in concrete numerical simulations, divergence of the GD process may
slow down, or even completely rule out, convergence of the error function. In
practical relevant learning problems, it thus seems to be advisable to design
the ANN architectures in a way so that GD optimization processes remain
bounded. The property of the boundedness of GD processes for a given learning
problem seems, however, to be closely related to the existence of minimizers in
the optimization landscape and, in particular, GD trajectories may escape to
infinity if the infimum of the error function (objective function) is not
attained in the optimization landscape. This naturally raises the question of
the existence of minimizers in the optimization landscape and, in the situation
of shallow residual ANNs with multi-dimensional input layers and
multi-dimensional hidden layers with the ReLU activation, the main result of
this work answers this question affirmatively for a general class of loss
functions and all continuous target functions. In our proof of this statement,
we propose a kind of closure of the search space, where the limits are called
generalized responses, and, thereafter, we provide sufficient criteria for the
loss function and the underlying probability distribution which ensure that all
additional artificial generalized responses are suboptimal which finally allows
us to conclude the existence of minimizers in the optimization landscape.
- Abstract（参考訳）: 勾配降下法(gd)に基づくアルゴリズムの多くの数学的収束結果は、gd過程が(ほぼ確実に)有界であると仮定し、具体的な数値シミュレーションでは、gd過程の発散が遅くなり、誤差関数の収束が完全に無視される可能性がある。
実際の関連する学習問題では、gd最適化プロセスが境界を保ち続けるようにannアーキテクチャを設計することが望ましいようである。
与えられた学習問題に対するGDプロセスの有界性の性質は、最適化ランドスケープにおける最小値の存在と密接に関連しているようで、特に、GDトラジェクトリは、最適化ランドスケープにおいてエラー関数(対象関数)の無限小が得られない場合、無限大に逃れることができる。
このことは、最適化ランドスケープにおける最小化器の存在に関する疑問を自然に提起し、多次元入力層とReLUアクティベーションを持つ多次元隠蔽層を持つ浅層ANNの状況において、この研究の主な結果は、一般的な損失関数のクラスと全ての連続目標関数に対して肯定的に答える。
このステートメントの証明では、極限が一般化応答と呼ばれる探索空間のある種の閉包を提案し、その後、全ての付加的な人工的一般化応答が準最適であることを保証する損失関数と基礎確率分布の十分な基準を提供し、最終的に最適化環境における最小値の存在を結論付けることができる。
関連論文リスト
- Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted
Activations [52.031701581294804]
ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。
このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。
提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
論文 参考訳（メタデータ） (2024-01-25T09:23:31Z) - The Implicit Bias of Minima Stability in Multivariate Shallow ReLU
Networks [53.95175206863992]
本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。
我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
論文 参考訳（メタデータ） (2023-06-30T09:17:39Z) - On the existence of optimal shallow feedforward networks with ReLU
activation [0.0]
我々は,ReLUを活性化した浅層フィードフォワード人工ニューラルネットワークを用いた連続目標関数の近似のための損失ランドスケープにおけるグローバルミニマの存在を証明した。
拡張空間最小化器が存在するように探索空間のある種の閉包を提案する。
論文 参考訳（メタデータ） (2023-03-06T13:35:46Z) - When Expressivity Meets Trainability: Fewer than $n$ Neurons Can Work [59.29606307518154]
幅が$m geq 2n/d$($d$は入力次元)である限り、その表現性は強く、すなわち、訓練損失がゼロの少なくとも1つの大域最小化器が存在することを示す。
また、実現可能な領域がよい局所領域であるような制約付き最適化の定式化も検討し、すべてのKKT点がほぼ大域最小値であることを示す。
論文 参考訳（メタデータ） (2022-10-21T14:41:26Z) - On the Omnipresence of Spurious Local Minima in Certain Neural Network
Training Problems [0.0]
本研究では,1次元実出力を持つ深層ニューラルネットワークにおける学習課題の損失状況について検討する。
このような問題は、アフィンでないすべての対象函数に対して、刺激的(すなわち、大域的最適ではない)局所ミニマの連続体を持つことが示されている。
論文 参考訳（メタデータ） (2022-02-23T14:41:54Z) - Near-Minimax Optimal Estimation With Shallow ReLU Neural Networks [19.216784367141972]
本研究では,浅層(単層)ReLUニューラルネットワークを用いた雑音データから未知の関数を推定する問題について検討する。
我々は、データ生成関数がラドン領域における二階有界変動関数の空間に属するとき、これらのニューラルネットワーク推定器の性能を定量化する。
論文 参考訳（メタデータ） (2021-09-18T05:56:06Z) - Achieving Small Test Error in Mildly Overparameterized Neural Networks [30.664282759625948]
時間内にこれらの点の1つを見つけるアルゴリズムを示す。
さらに、我々は、完全に接続されたニューラルネットワークのために、データ分布に追加の仮定で、時間アルゴリズムがあることを証明します。
論文 参考訳（メタデータ） (2021-04-24T06:47:20Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Interval Universal Approximation for Neural Networks [47.767793120249095]
区間普遍近似(IUA)定理を導入する。
IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。
本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
論文 参考訳（メタデータ） (2020-07-12T20:43:56Z) - Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。
EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。
我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文 参考訳（メタデータ） (2020-04-06T19:52:48Z) - On Sharpness of Error Bounds for Multivariate Neural Network
Approximation [0.0]
この論文は、このようなリッジ関数の和による最良の非線形近似を扱う。
誤差境界は滑らかさのモジュライで表される。
論文 参考訳（メタデータ） (2020-04-05T14:00:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。