論文の概要: Avoiding Spurious Local Minima in Deep Quadratic Networks
- arxiv url: http://arxiv.org/abs/2001.00098v2
- Date: Mon, 20 Jul 2020 00:40:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 20:32:41.150681
- Title: Avoiding Spurious Local Minima in Deep Quadratic Networks
- Title（参考訳）: 深部二次ネットワークにおける純粋局所最小化の回避
- Authors: Abbas Kazemipour, Brett W. Larsen and Shaul Druckmann
- Abstract要約: ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。
2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite their practical success, a theoretical understanding of the loss
landscape of neural networks has proven challenging due to the
high-dimensional, non-convex, and highly nonlinear structure of such models. In
this paper, we characterize the training landscape of the mean squared error
loss for neural networks with quadratic activation functions. We prove
existence of spurious local minima and saddle points which can be escaped
easily with probability one when the number of neurons is greater than or equal
to the input dimension and the norm of the training samples is used as a
regressor. We prove that deep overparameterized neural networks with quadratic
activations benefit from similar nice landscape properties. Our theoretical
results are independent of data distribution and fill the existing gap in
theory for two-layer quadratic neural networks. Finally, we empirically
demonstrate convergence to a global minimum for these problems.
- Abstract（参考訳）: その実用的成功にもかかわらず、ニューラルネットワークの損失景観に関する理論的理解は、高次元、非凸、高非線形構造のために困難であることが証明されている。
本稿では,2次活性化関数を持つニューラルネットワークにおける平均二乗誤差損失のトレーニング環境を特徴付ける。
入力次元よりもニューロンの数が多く、トレーニングサンプルのノルムが回帰器として使用される場合、確率1で容易に脱出できる急激な局所最小値とサドル点の存在を証明した。
2次活性化を持つ深層パラメータ付きニューラルネットワークは、類似の優れたランドスケープ特性の恩恵を受ける。
理論結果はデータ分布に依存せず、2層2次ニューラルネットワークの理論上のギャップを埋める。
最後に、これらの問題に対する世界最小値への収束を実証的に示す。
関連論文リスト
- Deep Loss Convexification for Learning Iterative Models [11.36644967267829]
点雲登録のための反復的最近点(ICP)のような反復的手法は、しばしば悪い局所最適性に悩まされる。
我々は,各地真実の周囲に凸景観を形成する学習を提案する。
論文 参考訳（メタデータ） (2024-11-16T01:13:04Z) - Least Squares Training of Quadratic Convolutional Neural Networks with Applications to System Theory [0.0]
本稿では,2層畳み込みニューラルネットワークのトレーニングのための最小2乗の定式化について述べる。
ネットワークの2次入力出力方程式とともに,大域的最適重みの解析式を得る。
論文 参考訳（メタデータ） (2024-11-13T00:42:40Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Implicit regularization of deep residual networks towards neural ODEs [8.075122862553359]
我々は、ニューラルネットワークに対する深い残留ネットワークの暗黙的な正規化を確立する。
ネットワークがニューラルなODEの離散化であるなら、そのような離散化はトレーニングを通して維持される。
論文 参考訳（メタデータ） (2023-09-03T16:35:59Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - FuNNscope: Visual microscope for interactively exploring the loss
landscape of fully connected neural networks [77.34726150561087]
ニューラルネットワークの高次元景観特性を探索する方法を示す。
我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。
インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
論文 参考訳（メタデータ） (2022-04-09T16:41:53Z) - A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。
新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。
モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
論文 参考訳（メタデータ） (2022-01-14T06:42:42Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。