論文の概要: Interpolation property of shallow neural networks
- arxiv url: http://arxiv.org/abs/2304.10552v1
- Date: Thu, 20 Apr 2023 08:45:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 17:04:35.531941
- Title: Interpolation property of shallow neural networks
- Title(参考訳): 浅層ニューラルネットワークの補間特性
- Authors: Vlad-Raul Constantinescu and Ionel Popescu
- Abstract要約: 損失ニューラルネットワークのランドスケープ幾何学について検討する。
損失関数が0に等しい大域最小値を持つことを示す。
また,グローバルミニマで評価された損失関数のキャラクタリゼーションも提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the geometry of global minima of the loss landscape of
overparametrized neural networks. In most optimization problems, the loss
function is convex, in which case we only have a global minima, or nonconvex,
with a discrete number of global minima. In this paper, we prove that in the
overparametrized regime, a shallow neural network can interpolate any data set,
i.e. the loss function has a global minimum value equal to zero as long as the
activation function is not a polynomial of small degree. Additionally, if such
a global minimum exists, then the locus of global minima has infinitely many
points. Furthermore, we give a characterization of the Hessian of the loss
function evaluated at the global minima, and in the last section, we provide a
practical probabilistic method of finding the interpolation point.
- Abstract(参考訳): 過度にパラメータ化されたニューラルネットワークの損失ランドスケープのグローバルミニマの幾何学について検討する。
ほとんどの最適化問題において、損失関数は凸(convex)であり、この場合、離散的な大域小数を持つ大域小数あるいは非小数しか持たない。
本稿では、過パラメータ化状態において、浅層ニューラルネットワークが任意のデータセットを補間可能であること、すなわち、アクティベーション関数が小さい多項式でない限り、損失関数はゼロに等しい大域的最小値を持つことを証明する。
さらに、そのような大域的最小値が存在するならば、大域的ミニマの軌跡は無限に多くの点を持つ。
さらに,大域的ミニマで評価された損失関数のヘシアンを解析し,最終節では補間点を求める実用的な確率的手法を提案する。
関連論文リスト
- The Implicit Bias of Minima Stability in Multivariate Shallow ReLU
Networks [53.95175206863992]
本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。
我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
論文 参考訳(メタデータ) (2023-06-30T09:17:39Z) - Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。
本稿では,2種類のミニマックスアルゴリズムを提案する。
そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
論文 参考訳(メタデータ) (2023-02-08T01:42:45Z) - On the Omnipresence of Spurious Local Minima in Certain Neural Network
Training Problems [0.0]
本研究では,1次元実出力を持つ深層ニューラルネットワークにおける学習課題の損失状況について検討する。
このような問題は、アフィンでないすべての対象函数に対して、刺激的(すなわち、大域的最適ではない)局所ミニマの連続体を持つことが示されている。
論文 参考訳(メタデータ) (2022-02-23T14:41:54Z) - An Unconstrained Layer-Peeled Perspective on Neural Collapse [20.75423143311858]
非拘束層列モデル (ULPM) と呼ばれるサロゲートモデルを導入する。
このモデル上の勾配流は、その大域的最小化器における神経崩壊を示す最小ノルム分離問題の臨界点に収束することを示す。
また,本研究の結果は,実世界のタスクにおけるニューラルネットワークのトレーニングにおいて,明示的な正規化や重み劣化が使用されない場合にも有効であることを示す。
論文 参考訳(メタデータ) (2021-10-06T14:18:47Z) - The loss landscape of deep linear neural networks: a second-order
analysis [0.0]
正方形損失を伴う深部線形ニューラルネットワークの最適化環境について検討する。
我々は、すべての臨界点の中で、大域最小化点、厳格なサドル点、非制限サドル点を特徴づける。
論文 参考訳(メタデータ) (2021-07-28T11:33:18Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳(メタデータ) (2020-12-31T18:53:25Z) - Finding Global Minima via Kernel Approximations [90.42048080064849]
関数評価のみに基づく滑らかな関数のグローバル最小化を考える。
本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
論文 参考訳(メタデータ) (2020-12-22T12:59:30Z) - The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural
Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。
我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文 参考訳(メタデータ) (2020-06-10T15:38:30Z) - The Effects of Mild Over-parameterization on the Optimization Landscape
of Shallow ReLU Neural Networks [36.35321290763711]
我々は,教師と学生のネットワークが同じ数のニューロンを持つ場合,その目的がグローバルなミニマを強く囲むことを証明した。
非グロバルなミニマの場合、単一のニューロンだけを追加することで、非グロバルな最小値がサドルポイントとなることが証明される。
論文 参考訳(メタデータ) (2020-06-01T15:13:15Z) - Piecewise linear activations substantially shape the loss surfaces of
neural networks [95.73230376153872]
本稿では,ニューラルネットワークの損失面を著しく形成する線形活性化関数について述べる。
我々はまず、多くのニューラルネットワークの損失面が、大域的なミニマよりも経験的リスクの高い局所的ミニマとして定義される無限の急激な局所的ミニマを持つことを証明した。
一層ネットワークの場合、セル内のすべての局所ミニマが同値類であり、谷に集中しており、セル内のすべてのグローバルミニマであることを示す。
論文 参考訳(メタデータ) (2020-03-27T04:59:34Z) - Understanding Global Loss Landscape of One-hidden-layer ReLU Networks,
Part 1: Theory [4.976129960952446]
一層ReLUネットワークの場合、すべての微分可能な局所ミニマが大域的に微分可能な領域内に存在することが証明される。
これらの局所的なミニマは、データ間の相互作用、隠れたニューロンの活性化パターン、ネットワークサイズに応じて、孤立点または連続した超平面となりうることを示す。
論文 参考訳(メタデータ) (2020-02-12T02:04:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。