論文の概要: The Loss Surfaces of Neural Networks with General Activation Functions
- arxiv url: http://arxiv.org/abs/2004.03959v3
- Date: Tue, 8 Jun 2021 07:08:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 09:46:33.802810
- Title: The Loss Surfaces of Neural Networks with General Activation Functions
- Title(参考訳): 一般活性化関数を持つニューラルネットワークの損失面
- Authors: Nicholas P. Baskerville, Jonathan P. Keating, Francesco Mezzadri,
Joseph Najnudel
- Abstract要約: 我々は、ランダム行列理論の超対称手法を用いてスピングラスの複雑性計算を通して新しい経路をグラフ化する。
我々の結果は、この文脈におけるスピンガラスモデルの強度と弱さの両方に新たな光を当てた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The loss surfaces of deep neural networks have been the subject of several
studies, theoretical and experimental, over the last few years. One strand of
work considers the complexity, in the sense of local optima, of high
dimensional random functions with the aim of informing how local optimisation
methods may perform in such complicated settings. Prior work of Choromanska et
al (2015) established a direct link between the training loss surfaces of deep
multi-layer perceptron networks and spherical multi-spin glass models under
some very strong assumptions on the network and its data. In this work, we test
the validity of this approach by removing the undesirable restriction to ReLU
activation functions. In doing so, we chart a new path through the spin glass
complexity calculations using supersymmetric methods in Random Matrix Theory
which may prove useful in other contexts. Our results shed new light on both
the strengths and the weaknesses of spin glass models in this context.
- Abstract(参考訳): 深層ニューラルネットワークの損失面は、ここ数年、理論的、実験的にいくつかの研究の対象となっている。
ある仕事のストランドは、局所最適化法がそのような複雑な環境でどのように機能するかを伝えることを目的として、高次元ランダム関数の局所最適という観点で複雑さを考察している。
choromanska et al (2015) の以前の研究は、深層多層パーセプトロンネットワークのトレーニング損失面と球面多スピンガラスモデルとの直接関係を、ネットワークとそのデータに関する非常に強い仮定の下で確立した。
本研究では,ReLUアクティベーション関数に対する望ましくない制限を取り除き,本手法の有効性を検証する。
その際、他の文脈で有用であることを示すランダム行列理論において、超対称法を用いてスピンガラス複雑性計算による新しい経路をグラフ化する。
我々の結果は、この文脈におけるスピンガラスモデルの強度と弱さの両方に新たな光を当てた。
関連論文リスト
- Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳(メタデータ) (2023-10-16T02:12:32Z) - From NeurODEs to AutoencODEs: a mean-field control framework for
width-varying Neural Networks [68.8204255655161]
本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。
損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
論文 参考訳(メタデータ) (2023-07-05T13:26:17Z) - When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。
一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
論文 参考訳(メタデータ) (2023-04-29T11:46:53Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳(メタデータ) (2021-12-04T18:07:47Z) - Revisit Geophysical Imaging in A New View of Physics-informed Generative
Adversarial Learning [2.12121796606941]
完全な波形反転は高分解能地下モデルを生成する。
最小二乗関数を持つFWIは、局所ミニマ問題のような多くの欠点に悩まされる。
偏微分方程式とニューラルネットワークを用いた最近の研究は、2次元FWIに対して有望な性能を示している。
本稿では,波動方程式を識別ネットワークに統合し,物理的に一貫したモデルを正確に推定する,教師なし学習パラダイムを提案する。
論文 参考訳(メタデータ) (2021-09-23T15:54:40Z) - Towards Understanding Theoretical Advantages of Complex-Reaction
Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。
経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文 参考訳(メタデータ) (2021-08-15T10:13:49Z) - Validation of RELU nets with tropical polyhedra [7.087237546722617]
本稿では,熱帯ポリヘドラを用いてReLUフィードフォワードニューラルネットワークを抽象化する手法を提案する。
本稿では、ReLUネットワークと熱帯有理関数の接続が、ReLUニューラルネットワークのレンジ解析にどのように役立つかを示す。
論文 参考訳(メタデータ) (2021-07-30T06:22:59Z) - LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。
フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文 参考訳(メタデータ) (2021-03-01T03:10:11Z) - Applicability of Random Matrix Theory in Deep Learning [0.966840768820136]
本研究では,ニューラルネットワークの損失面ヘッシアンの局所スペクトル統計について検討する。
ニューラルネットワークのモデリングにおけるランダム行列理論の適用性に新たな光を当てた。
本稿では,ニューラルネットワークの真の損失面に対する新しいモデルを提案する。
論文 参考訳(メタデータ) (2021-02-12T19:49:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。