論文の概要: Deriving Activation Functions via Integration

• arxiv url: http://arxiv.org/abs/2411.13010v1
• Date: Wed, 20 Nov 2024 03:24:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:13:31.817867
• Title: Deriving Activation Functions via Integration
• Title（参考訳）: 統合による活性化関数の導出
• Authors: Allen Hao Huang,
• Abstract要約: 活性化関数は、ディープニューラルネットワークに非線形性を導入する上で重要な役割を果たす。 そこで,本研究では,それらの勾配に着目し,統合によって対応する関数を導出することにより,活性化関数を設計する新しい手法を提案する。 本研究は,ELU活性化関数に適用したトレーニング可能なアフィン変換を統合することで導かれる,訓練可能な一方向活性化関数である指数線形ユニット(xIELU)の積分を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Activation functions play a crucial role in introducing non-linearities to deep neural networks. We propose a novel approach to designing activation functions by focusing on their gradients and deriving the corresponding functions through integration. Our work introduces the Expanded Integral of the Exponential Linear Unit (xIELU), a trainable piecewise activation function derived by integrating trainable affine transformations applied on the ELU activation function. xIELU combines two key gradient properties: a trainable and linearly increasing gradient for positive inputs, similar to ReLU$^2$, and a trainable negative gradient flow for negative inputs, akin to xSiLU. Conceptually, xIELU can be viewed as extending ReLU$^2$ to effectively handle negative inputs. In experiments with 1.1B parameter Llama models trained on 126B tokens of FineWeb Edu, xIELU achieves lower perplexity compared to both ReLU$^2$ and SwiGLU when matched for the same compute cost and parameter count.
• Abstract（参考訳）: 活性化関数は、ディープニューラルネットワークに非線形性を導入する上で重要な役割を果たす。 そこで,本研究では,それらの勾配に着目し,統合によって対応する関数を導出することにより,活性化関数を設計する新しい手法を提案する。 ELU 活性化関数に適用されたトレーニング可能なアフィン変換を統合することで導かれる、訓練可能な断片的活性化関数である指数線形ユニット(xIELU)の拡張積分を導入する。 xIELUは2つの重要な勾配特性、すなわち、ReLU$^2$と似た正の入力に対するトレーニング可能および線形に増加する勾配と、xSiLUと同様の負の入力に対するトレーニング可能な負の勾配フローを組み合わせる。 概念的には、xIELU は負の入力を効果的に処理するために ReLU$^2$ を拡張すると見なすことができる。 FineWeb Eduの126Bトークンでトレーニングされた1.1Bパラメータを用いた実験では、同じ計算コストとパラメータ数で一致した場合、xIELUはReLU$^2$とSwiGLUと比較して低いパープレキシティを実現する。

関連論文リスト

• Gompertz Linear Units: Leveraging Asymmetry for Enhanced Learning Dynamics [39.0860823332923]
  GoLU は $mathrmGoLU(x) = x, MathrmGompertz(x)$, wheremathrmGompertz(x) = e-e-x$ と定義される新しい自己ゲート活性化関数である。 GoLUの最先端のアクティベーション関数に対する優れたパフォーマンスは、既存のアクティベーション関数に対する堅牢な代替として、GoLUを強調している。
  論文  参考訳（メタデータ） (2025-02-05T22:32:22Z)
• Activation function optimization method: Learnable series linear units (LSLUs) [12.089173508371246]
  LSLU (Learnable Series Linear Units) と呼ばれる直列学習可能なac-tivation関数を提案する。 この方法は、精度を向上しつつ、ディープラーニングネットワークを単純化する。 CIFAR10, CIFAR100および特定のタスクデータセット(例えばSilkworm)上でのLSLUの性能を評価する。
  論文  参考訳（メタデータ） (2024-08-28T11:12:27Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Parametric Leaky Tanh: A New Hybrid Activation Function for Deep Learning [0.0]
  活性化機能(AF)はディープニューラルネットワーク(DNN)の重要な構成要素である 本稿では,Tanh と Leaky ReLU の双方の活性化関数の強みを組み合わせたハイブリッド活性化関数を提案する。 PLanh はすべての点で微分可能であり、負の入力に対する非ゼロ勾配を保証することで 'dying ReLU' 問題に対処する。
  論文  参考訳（メタデータ） (2023-08-11T08:59:27Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• TaLU: A Hybrid Activation Function Combining Tanh and Rectified Linear Unit to Enhance Neural Networks [1.3477333339913569]
  TaLUはTanhとReLUを組み合わせた活性化機能である。 MNIST と CIFAR-10 の深層学習モデルについて検討した。
  論文  参考訳（メタデータ） (2023-05-08T01:13:59Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Dynamic ReLU [74.973224160508]
  本稿では、すべてのインプット要素上のハイパー関数によって生成されるパラメータの動的入力である動的ReLU(DY-ReLU)を提案する。 静的に比較すると、DY-ReLUは余分な計算コストは無視できるが、表現能力ははるかに高い。 単にDY-ReLUをMobileNetV2に使用することで、ImageNet分類のトップ-1の精度は72.0%から76.2%に向上し、追加のFLOPは5%に留まった。
  論文  参考訳（メタデータ） (2020-03-22T23:45:35Z)
• Investigating the interaction between gradient-only line searches and different activation functions [0.0]
  勾配専用線探索(GOLS)は、ニューラルネットワークトレーニングにおける不連続損失関数の探索方向に沿ったステップサイズを適応的に決定する。 GOLSは様々なアクティベーション機能に対して堅牢であるが,標準フィードフォワードアーキテクチャにおけるRectified Linear Unit(ReLU)アクティベーション機能に敏感であることがわかった。
  論文  参考訳（メタデータ） (2020-02-23T12:28:27Z)
• Gaussian Error Linear Units (GELUs) [58.195342948092964]
  本稿では,入力の重み付けを行うニューラルネットワークアクティベーション関数を提案する。 コンピュータビジョン、自然言語処理、音声タスクのすべてにおいて、パフォーマンスが改善されている。
  論文  参考訳（メタデータ） (2016-06-27T19:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。