論文の概要: Empirical Loss Landscape Analysis of Neural Network Activation Functions

• arxiv url: http://arxiv.org/abs/2306.16090v1
• Date: Wed, 28 Jun 2023 10:46:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 14:34:05.140800
• Title: Empirical Loss Landscape Analysis of Neural Network Activation Functions
• Title（参考訳）: ニューラルネットワーク活性化機能の実証的損失景観解析
• Authors: Anna Sergeevna Bosman, Andries Engelbrecht, Marde Helbig
• Abstract要約: 非線型性を有効にすることで、活性化関数はニューラルネットワーク設計において重要な役割を果たす。 本研究では, 双曲的接点, 整流線形単位, 指数線型単位活性化関数に関連するニューラルネットワークの損失景観を実験的に検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Activation functions play a significant role in neural network design by enabling non-linearity. The choice of activation function was previously shown to influence the properties of the resulting loss landscape. Understanding the relationship between activation functions and loss landscape properties is important for neural architecture and training algorithm design. This study empirically investigates neural network loss landscapes associated with hyperbolic tangent, rectified linear unit, and exponential linear unit activation functions. Rectified linear unit is shown to yield the most convex loss landscape, and exponential linear unit is shown to yield the least flat loss landscape, and to exhibit superior generalisation performance. The presence of wide and narrow valleys in the loss landscape is established for all activation functions, and the narrow valleys are shown to correlate with saturated neurons and implicitly regularised network configurations.
• Abstract（参考訳）: 非線型性を有効にすることで、活性化関数はニューラルネットワーク設計において重要な役割を果たす。 活性化関数の選択は、以前、結果として生じる損失景観の特性に影響を及ぼすことが示された。 アクティベーション関数とロスランドスケープ特性の関係を理解することは、ニューラルアーキテクチャとトレーニングアルゴリズム設計において重要である。 本研究は,双曲的接点,整流線形単位,指数的線形単位活性化関数に関連するニューラルネットワーク損失のランドスケープを実験的に検討する。 整流された線形ユニットは最も凸なロスランドスケープを示し、指数線型ユニットは最も平坦なロスランドスケープを示し、より優れた一般化性能を示す。 全ての活性化関数に対して、損失景観における広狭谷の存在が確立され、狭谷は飽和ニューロンと暗黙的に規則化されたネットワーク構成と相関することが示されている。

関連論文リスト

• Dynamical loss functions shape landscape topography and improve learning in artificial neural networks [0.9208007322096533]
  クロスエントロピーと平均二乗誤差を動的損失関数に変換する方法を示す。 異なるサイズのネットワークに対する検証精度を大幅に向上させる方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:27:03Z)
• Physics-Informed Neural Networks: Minimizing Residual Loss with Wide Networks and Effective Activations [5.731640425517324]
  特定の条件下では、広いニューラルネットワークによってPINNの残留損失を世界規模で最小化できることを示す。 良好な高次導関数を持つ活性化関数は、残留損失を最小限に抑える上で重要な役割を果たす。 確立された理論は、PINNの効果的な活性化関数の設計と選択の道を開く。
  論文  参考訳（メタデータ） (2024-05-02T19:08:59Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Piecewise linear activations substantially shape the loss surfaces of neural networks [95.73230376153872]
  本稿では,ニューラルネットワークの損失面を著しく形成する線形活性化関数について述べる。 我々はまず、多くのニューラルネットワークの損失面が、大域的なミニマよりも経験的リスクの高い局所的ミニマとして定義される無限の急激な局所的ミニマを持つことを証明した。 一層ネットワークの場合、セル内のすべての局所ミニマが同値類であり、谷に集中しており、セル内のすべてのグローバルミニマであることを示す。
  論文  参考訳（メタデータ） (2020-03-27T04:59:34Z)
• Investigating the interaction between gradient-only line searches and different activation functions [0.0]
  勾配専用線探索(GOLS)は、ニューラルネットワークトレーニングにおける不連続損失関数の探索方向に沿ったステップサイズを適応的に決定する。 GOLSは様々なアクティベーション機能に対して堅牢であるが,標準フィードフォワードアーキテクチャにおけるRectified Linear Unit(ReLU)アクティベーション機能に敏感であることがわかった。
  論文  参考訳（メタデータ） (2020-02-23T12:28:27Z)
• Ill-Posedness and Optimization Geometry for Nonlinear Neural Network Training [4.7210697296108926]
  ネットワーク構築における非線形活性化関数は、損失景観の定常点の分類において重要な役割を担っていることを示す。 浅密度ネットワークの場合、非線形活性化関数は大域ミニマ近傍のヘッセンヌル空間を決定する。 これらの結果を高密度ニューラルネットワークに拡張することにより、最終活性化関数が定常点の分類において重要な役割を果たすことを示す。
  論文  参考訳（メタデータ） (2020-02-07T16:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。