論文の概要: Investigating the interaction between gradient-only line searches and
different activation functions
- arxiv url: http://arxiv.org/abs/2002.09889v1
- Date: Sun, 23 Feb 2020 12:28:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 09:38:48.790118
- Title: Investigating the interaction between gradient-only line searches and
different activation functions
- Title（参考訳）: 勾配専用線探索と異なるアクティベーション関数の相互作用の検討
- Authors: D. Kafka and Daniel. N. Wilke
- Abstract要約: 勾配専用線探索(GOLS)は、ニューラルネットワークトレーニングにおける不連続損失関数の探索方向に沿ったステップサイズを適応的に決定する。
GOLSは様々なアクティベーション機能に対して堅牢であるが,標準フィードフォワードアーキテクチャにおけるRectified Linear Unit(ReLU)アクティベーション機能に敏感であることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gradient-only line searches (GOLS) adaptively determine step sizes along
search directions for discontinuous loss functions resulting from dynamic
mini-batch sub-sampling in neural network training. Step sizes in GOLS are
determined by localizing Stochastic Non-Negative Associated Gradient Projection
Points (SNN-GPPs) along descent directions. These are identified by a sign
change in the directional derivative from negative to positive along a descent
direction. Activation functions are a significant component of neural network
architectures as they introduce non-linearities essential for complex function
approximations. The smoothness and continuity characteristics of the activation
functions directly affect the gradient characteristics of the loss function to
be optimized. Therefore, it is of interest to investigate the relationship
between activation functions and different neural network architectures in the
context of GOLS. We find that GOLS are robust for a range of activation
functions, but sensitive to the Rectified Linear Unit (ReLU) activation
function in standard feedforward architectures. The zero-derivative in ReLU's
negative input domain can lead to the gradient-vector becoming sparse, which
severely affects training. We show that implementing architectural features
such as batch normalization and skip connections can alleviate these
difficulties and benefit training with GOLS for all activation functions
considered.
- Abstract（参考訳）: 勾配専用線探索(GOLS)は、ニューラルネットワークトレーニングにおける動的ミニバッチサブサンプリングによる不連続損失関数の探索方向に沿ったステップサイズを適応的に決定する。
GOLSのステップサイズは、SNN-GPP(Stochastic Non-Negative Associated Gradient Projection Points)を降下方向に沿ってローカライズすることによって決定される。
これらは降下方向に沿って方向微分の符号が負から正に変化することによって識別される。
アクティベーション関数は、複雑な関数近似に不可欠な非線形性を導入するため、ニューラルネットワークアーキテクチャの重要なコンポーネントである。
活性化関数の滑らか性と連続性特性は、最適化すべき損失関数の勾配特性に直接影響する。
したがって、golsの文脈において、活性化関数と異なるニューラルネットワークアーキテクチャの関係を検討することが重要である。
GOLSは様々なアクティベーション機能に対して堅牢であるが,標準フィードフォワードアーキテクチャにおけるRectified Linear Unit(ReLU)アクティベーション機能に敏感であることがわかった。
ReLUの負の入力領域におけるゼロデリバティブは、勾配ベクトルがスパースになる原因となり、トレーニングに深刻な影響を及ぼす。
バッチ正規化やスキップ接続などのアーキテクチャ機能の実装は,これらの困難を軽減し,GOLSによる活性化関数の学習に有効であることを示す。
関連論文リスト
- Deriving Activation Functions via Integration [0.0]
活性化関数は、ディープニューラルネットワークに非線形性を導入する上で重要な役割を果たす。
そこで,本研究では,それらの勾配に着目し,統合によって対応する関数を導出することにより,活性化関数を設計する新しい手法を提案する。
本研究は,ELU活性化関数に適用したトレーニング可能なアフィン変換を統合することで導かれる,訓練可能な一方向活性化関数である指数線形ユニット(xIELU)の積分を導入する。
論文 参考訳（メタデータ） (2024-11-20T03:24:21Z) - Your Network May Need to Be Rewritten: Network Adversarial Based on High-Dimensional Function Graph Decomposition [0.994853090657971]
本稿では,上記の課題に対処するネットワーク敵手法を提案する。
これはネットワーク内で異なるアクティベーション関数を使用する最初の方法である。
トレーニング効率と予測精度の両面で,標準的なアクティベーション機能よりも大幅に向上した。
論文 参考訳（メタデータ） (2024-05-04T11:22:30Z) - Layer-wise Feedback Propagation [53.00944147633484]
本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。
LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。
各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - Parametric Leaky Tanh: A New Hybrid Activation Function for Deep
Learning [0.0]
活性化機能(AF)はディープニューラルネットワーク(DNN)の重要な構成要素である
本稿では,Tanh と Leaky ReLU の双方の活性化関数の強みを組み合わせたハイブリッド活性化関数を提案する。
PLanh はすべての点で微分可能であり、負の入力に対する非ゼロ勾配を保証することで 'dying ReLU' 問題に対処する。
論文 参考訳（メタデータ） (2023-08-11T08:59:27Z) - Empirical Loss Landscape Analysis of Neural Network Activation Functions [0.0]
非線型性を有効にすることで、活性化関数はニューラルネットワーク設計において重要な役割を果たす。
本研究では, 双曲的接点, 整流線形単位, 指数線型単位活性化関数に関連するニューラルネットワークの損失景観を実験的に検討した。
論文 参考訳（メタデータ） (2023-06-28T10:46:14Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳（メタデータ） (2022-07-08T18:17:06Z) - Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。
サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。
この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文 参考訳（メタデータ） (2022-03-22T13:09:17Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳（メタデータ） (2022-02-13T10:54:59Z) - Growing Cosine Unit: A Novel Oscillatory Activation Function That Can
Speedup Training and Reduce Parameters in Convolutional Neural Networks [0.1529342790344802]
畳み込みニューラルネットワークは多くの社会的に重要で経済的に重要な問題を解くことに成功した。
ディープネットワークのトレーニングを可能にする重要な発見は、Rectified Linear Unit (ReLU) アクティベーション機能の採用であった。
新しい活性化関数 C(z) = z cos z は様々なアーキテクチャ上で Sigmoids, Swish, Mish, ReLU より優れる。
論文 参考訳（メタデータ） (2021-08-30T01:07:05Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。