論文の概要: On the existence of minimizers in shallow residual ReLU neural network
optimization landscapes
- arxiv url: http://arxiv.org/abs/2302.14690v1
- Date: Tue, 28 Feb 2023 16:01:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 15:38:24.705481
- Title: On the existence of minimizers in shallow residual ReLU neural network
optimization landscapes
- Title(参考訳): 浅層残留reluニューラルネットワーク最適化ランドスケープにおける最小値の存在について
- Authors: Steffen Dereich, Arnulf Jentzen, Sebastian Kassing
- Abstract要約: 実際の関連する学習問題では、GD最適化プロセスが境界を保ち続けるように、ANNアーキテクチャを設計することが望ましいと考えられる。
特に、GDトラジェクトリは、誤差関数(対象関数)の無限小が最適化ランドスケープで達成されない場合、無限大に逃れることができる。
このことは、最適化ランドスケープにおける最小化器の存在に関する疑問を自然に提起する。
- 参考スコア(独自算出の注目度): 2.1055643409860743
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many mathematical convergence results for gradient descent (GD) based
algorithms employ the assumption that the GD process is (almost surely) bounded
and, also in concrete numerical simulations, divergence of the GD process may
slow down, or even completely rule out, convergence of the error function. In
practical relevant learning problems, it thus seems to be advisable to design
the ANN architectures in a way so that GD optimization processes remain
bounded. The property of the boundedness of GD processes for a given learning
problem seems, however, to be closely related to the existence of minimizers in
the optimization landscape and, in particular, GD trajectories may escape to
infinity if the infimum of the error function (objective function) is not
attained in the optimization landscape. This naturally raises the question of
the existence of minimizers in the optimization landscape and, in the situation
of shallow residual ANNs with multi-dimensional input layers and
multi-dimensional hidden layers with the ReLU activation, the main result of
this work answers this question affirmatively for a general class of loss
functions and all continuous target functions. In our proof of this statement,
we propose a kind of closure of the search space, where the limits are called
generalized responses, and, thereafter, we provide sufficient criteria for the
loss function and the underlying probability distribution which ensure that all
additional artificial generalized responses are suboptimal which finally allows
us to conclude the existence of minimizers in the optimization landscape.
- Abstract(参考訳): 勾配降下法(gd)に基づくアルゴリズムの多くの数学的収束結果は、gd過程が(ほぼ確実に)有界であると仮定し、具体的な数値シミュレーションでは、gd過程の発散が遅くなり、誤差関数の収束が完全に無視される可能性がある。
実際の関連する学習問題では、gd最適化プロセスが境界を保ち続けるようにannアーキテクチャを設計することが望ましいようである。
与えられた学習問題に対するGDプロセスの有界性の性質は、最適化ランドスケープにおける最小値の存在と密接に関連しているようで、特に、GDトラジェクトリは、最適化ランドスケープにおいてエラー関数(対象関数)の無限小が得られない場合、無限大に逃れることができる。
このことは、最適化ランドスケープにおける最小化器の存在に関する疑問を自然に提起し、多次元入力層とReLUアクティベーションを持つ多次元隠蔽層を持つ浅層ANNの状況において、この研究の主な結果は、一般的な損失関数のクラスと全ての連続目標関数に対して肯定的に答える。
このステートメントの証明では、極限が一般化応答と呼ばれる探索空間のある種の閉包を提案し、その後、全ての付加的な人工的一般化応答が準最適であることを保証する損失関数と基礎確率分布の十分な基準を提供し、最終的に最適化環境における最小値の存在を結論付けることができる。
関連論文リスト
- Gradient-free neural topology optimization [0.0]
勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。
これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。
我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
論文 参考訳(メタデータ) (2024-03-07T23:00:49Z) - ProGO: Probabilistic Global Optimizer [9.772380490791635]
本稿では,いくつかの温和な条件下でのグローバルオプティマに収束するアルゴリズムを開発する。
提案アルゴリズムは,従来の最先端手法よりも桁違いに優れていることを示す。
論文 参考訳(メタデータ) (2023-10-04T22:23:40Z) - Implicit regularization in AI meets generalized hardness of
approximation in optimization -- Sharp results for diagonal linear networks [0.0]
直交線形ネットワークの勾配流による暗黙の正規化について, 鋭い結果を示す。
これを近似の一般化硬度における相転移現象と関連付ける。
結果の非シャープ性は、基礎追従最適化問題に対して、GHA現象が起こらないことを意味する。
論文 参考訳(メタデータ) (2023-07-13T13:27:51Z) - A Particle-based Sparse Gaussian Process Optimizer [5.672919245950197]
本稿では,下降の動的過程を利用した新しいスワム・スワムベースのフレームワークを提案する。
このアプローチの最大の利点は、降下を決定する前に現在の状態についてより深い探索を行うことである。
論文 参考訳(メタデータ) (2022-11-26T09:06:15Z) - Neural Stochastic Dual Dynamic Programming [99.80617899593526]
我々は、問題インスタンスを断片的線形値関数にマッピングすることを学ぶトレーニング可能なニューラルモデルを導入する。
$nu$-SDDPは、ソリューションの品質を犠牲にすることなく、問題解決コストを大幅に削減できる。
論文 参考訳(メタデータ) (2021-12-01T22:55:23Z) - Fighting the curse of dimensionality: A machine learning approach to
finding global optima [77.34726150561087]
本稿では,構造最適化問題におけるグローバル最適化の方法を示す。
特定のコスト関数を利用することで、最適化手順が確立された場合と比較して、グローバルをベストに得るか、最悪の場合、優れた結果を得るかのどちらかを得る。
論文 参考訳(メタデータ) (2021-10-28T09:50:29Z) - Faster Algorithm and Sharper Analysis for Constrained Markov Decision
Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。
新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。
これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文 参考訳(メタデータ) (2021-10-20T02:57:21Z) - Robust Topology Optimization Using Variational Autoencoders [2.580765958706854]
本研究では、ニューラルネットワークサロゲートを用いて、サロゲートベースの最適化によるより高速なソリューションアプローチを実現する。
また、高次元設計空間を低次元に変換するための変分オートエンコーダ(VAE)も構築する。
結果として得られる勾配に基づく最適化アルゴリズムは、トレーニングセットで見られるものよりもロバストなコンプライアンスが低い最適設計を生成する。
論文 参考訳(メタデータ) (2021-07-19T20:40:51Z) - Distributed stochastic optimization with large delays [59.95552973784946]
大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。
DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
論文 参考訳(メタデータ) (2021-07-06T21:59:49Z) - Offline Model-Based Optimization via Normalized Maximum Likelihood
Estimation [101.22379613810881]
データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。
この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。
我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
論文 参考訳(メタデータ) (2021-02-16T06:04:27Z) - Exploiting Higher Order Smoothness in Derivative-free Optimization and
Continuous Bandits [99.70167985955352]
強凸関数のゼロ次最適化問題について検討する。
予測勾配降下アルゴリズムのランダム化近似を考察する。
その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
論文 参考訳(メタデータ) (2020-06-14T10:42:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。