論文の概要: Expanded Gating Ranges Improve Activation Functions

• arxiv url: http://arxiv.org/abs/2405.20768v1
• Date: Sat, 25 May 2024 09:12:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-09 16:28:54.673349
• Title: Expanded Gating Ranges Improve Activation Functions
• Title（参考訳）: 拡張ゲーティングレンジはアクティベーション機能を改善する
• Authors: Allen Hao Huang,
• Abstract要約: 拡張ArcTanリニアユニット(xATLU)、拡張GELU(xGELU)、拡張SiLU(xSiLU)は、トランスアーキテクチャ内の既存のアクティベーション関数より優れていることがわかった。 また、拡張ゲーティング範囲は1次ゲーティング線形ユニット(GLU)の改善に有望な結果を示すことも示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation functions are core components of all deep learning architectures. Currently, the most popular activation functions are smooth ReLU variants like GELU and SiLU. These are self-gated activation functions where the range of the gating function is between zero and one. In this paper, we explore the viability of using arctan as a gating mechanism. A self-gated activation function that uses arctan as its gating function has a monotonically increasing first derivative. To make this activation function competitive, it is necessary to introduce a trainable parameter for every MLP block to expand the range of the gating function beyond zero and one. We find that this technique also improves existing self-gated activation functions. We conduct an empirical evaluation of Expanded ArcTan Linear Unit (xATLU), Expanded GELU (xGELU), and Expanded SiLU (xSiLU) and show that they outperform existing activation functions within a transformer architecture. Additionally, expanded gating ranges show promising results in improving first-order Gated Linear Units (GLU).
• Abstract（参考訳）: アクティベーション関数は、すべてのディープラーニングアーキテクチャの中核的なコンポーネントである。 現在最も人気のあるアクティベーション関数は、GELUやSiLUのような滑らかなReLU変種である。 これらは、ゲーティング関数の範囲が 0 と 1 の間の自己ゲート活性化関数である。 本稿では,アークタンをゲーティング機構として用いることの実現可能性について検討する。 アークタンをゲーティング関数として用いる自己ゲート活性化関数は、単調に増大する第1誘導体を有する。 このアクティベーション機能を競争力のあるものにするためには、各MLPブロックにトレーニング可能なパラメータを導入して、ゲーティング関数の範囲を0と1を超えて拡張する必要がある。 また,この手法により,既存のセルフゲートアクティベーション機能も向上することがわかった。 我々は、拡張ArcTan線形ユニット(xATLU)、拡張GELU(xGELU)、拡張SiLU(xSiLU)の実証評価を行い、トランスアーキテクチャ内の既存の活性化関数よりも優れていることを示す。 さらに、拡張ゲーティング範囲は、一階Gated Linear Units (GLU)の改善に有望な結果を示している。

関連論文リスト

• Parametric Leaky Tanh: A New Hybrid Activation Function for Deep Learning [0.0]
  活性化機能(AF)はディープニューラルネットワーク(DNN)の重要な構成要素である 本稿では,Tanh と Leaky ReLU の双方の活性化関数の強みを組み合わせたハイブリッド活性化関数を提案する。 PLanh はすべての点で微分可能であり、負の入力に対する非ゼロ勾配を保証することで 'dying ReLU' 問題に対処する。
  論文  参考訳（メタデータ） (2023-08-11T08:59:27Z)
• Saturated Non-Monotonic Activation Functions [21.16866749728754]
  SGELU, SSiLU, SMishはGELU, SiLU, Mishの負の部分とReLUの正の部分から構成される。 CIFAR-100における画像分類実験の結果,提案するアクティベーション関数は,複数のディープラーニングアーキテクチャにおいて,高い有効性と,最先端のベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-05-12T15:01:06Z)
• TaLU: A Hybrid Activation Function Combining Tanh and Rectified Linear Unit to Enhance Neural Networks [1.3477333339913569]
  TaLUはTanhとReLUを組み合わせた活性化機能である。 MNIST と CIFAR-10 の深層学習モデルについて検討した。
  論文  参考訳（メタデータ） (2023-05-08T01:13:59Z)
• Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection [50.14730810124592]
  サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。 本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
  論文  参考訳（メタデータ） (2022-10-20T06:00:45Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Activation Functions: Dive into an optimal activation function [1.52292571922932]
  既存のアクティベーション関数の重み付け和として定義することで、最適なアクティベーション関数を求める。 この研究は、ReLU、tanh、 sinという3つのアクティベーション関数を3つの人気のある画像データセットに使用しています。
  論文  参考訳（メタデータ） (2022-02-24T12:44:11Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks [0.1529342790344802]
  畳み込みニューラルネットワークは多くの社会的に重要で経済的に重要な問題を解くことに成功した。 ディープネットワークのトレーニングを可能にする重要な発見は、Rectified Linear Unit (ReLU) アクティベーション機能の採用であった。 新しい活性化関数 C(z) = z cos z は様々なアーキテクチャ上で Sigmoids, Swish, Mish, ReLU より優れる。
  論文  参考訳（メタデータ） (2021-08-30T01:07:05Z)
• Submodular + Concave [53.208470310734825]
  第一次最適化法が凹関数の最大目的値に収束できることはよく確立されている。 本研究では、滑らかな函数凸体(英語版)の行列式を$F(x) = G(x) +C(x)$で始める。 このクラスの函数は、保証がないような凹凸函数と連続DR-部分モジュラ函数の両方の拡張である。
  論文  参考訳（メタデータ） (2021-06-09T01:59:55Z)
• Continuous Submodular Function Maximization [91.17492610120324]
  連続部分モジュラリティ (continuous submodularity) は、幅広い応用を持つ関数のクラスである。 連続的な部分モジュラ最適化の応用は、影響、推論のMAP、フィールドへの推論など多岐にわたる。
  論文  参考訳（メタデータ） (2020-06-24T04:37:31Z)
• Gaussian Error Linear Units (GELUs) [58.195342948092964]
  本稿では,入力の重み付けを行うニューラルネットワークアクティベーション関数を提案する。 コンピュータビジョン、自然言語処理、音声タスクのすべてにおいて、パフォーマンスが改善されている。
  論文  参考訳（メタデータ） (2016-06-27T19:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。