Fugu-MT 論文翻訳(概要): SAU: Smooth activation function using convolution with approximate identities

論文の概要: SAU: Smooth activation function using convolution with approximate identities

arxiv url: http://arxiv.org/abs/2109.13210v1
Date: Mon, 27 Sep 2021 17:31:04 GMT
ステータス: 処理完了
システム内更新日: 2021-09-28 18:12:35.044905
Title: SAU: Smooth activation function using convolution with approximate identities
Title（参考訳）: SAU:近似IDの畳み込みを用いた平滑活性化関数
Authors: Koushik Biswas, Sandeep Kumar, Shilpak Banerjee, Ashish Kumar Pandey
Abstract要約: ReLU や Leaky ReLU のようなよく知られた活性化関数は原点において微分不可能である。そこで本研究では, 微分不可能なアクティベーション関数を近似IDで結合することで, 新たなスムーズな近似式を提案する。
参考スコア（独自算出の注目度）: 1.5267236995686555
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Well-known activation functions like ReLU or Leaky ReLU are non-differentiable at the origin. Over the years, many smooth approximations of ReLU have been proposed using various smoothing techniques. We propose new smooth approximations of a non-differentiable activation function by convolving it with approximate identities. In particular, we present smooth approximations of Leaky ReLU and show that they outperform several well-known activation functions in various datasets and models. We call this function Smooth Activation Unit (SAU). Replacing ReLU by SAU, we get 5.12% improvement with ShuffleNet V2 (2.0x) model on CIFAR100 dataset.
Abstract（参考訳）: ReLU や Leaky ReLU のようなよく知られた活性化関数は原点において微分不可能である。長年にわたり、様々なスムーズな手法を用いてReLUのスムーズな近似が提案されてきた。そこで本研究では, 微分不可能なアクティベーション関数のスムーズな近似法を提案する。特に、Leaky ReLUのスムーズな近似を示し、様々なデータセットやモデルでよく知られたアクティベーション関数よりも優れていることを示す。これを Smooth Activation Unit (SAU) と呼ぶ。 SAU による ReLU の代替として,CIFAR100 データセット上での ShuffleNet V2 (2.0x) モデルで 5.12% の改善が行われた。

関連論文リスト

Zorro: A Flexible and Differentiable Parametric Family of Activation Functions That Extends ReLU and GELU [0.0]
過去30年間に400以上の関数が提案され、固定パラメータやトレーニング可能なパラメータが提案されているが、広く使われているのはごくわずかである。本稿では、ReLUとSigmoidを融合した5つの主要な関数からなる連続微分可能で柔軟なファミリーであるZorroと呼ばれる新しいアクティベーション関数のセットを紹介する。
論文参考訳（メタデータ） (2024-09-28T05:04:56Z)
ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
論文参考訳（メタデータ） (2024-02-06T08:45:51Z)
A Non-monotonic Smooth Activation Function [4.269446061678759]
活性化関数は、ネットワークに非線形性を導入するため、ディープラーニングモデルにおいて不可欠である。本研究では,非単調かつ滑らかな機能であるSqishと呼ばれる新しいアクティベーション関数を提案する。分類,物体検出,セグメンテーションタスク,対向ロバストネス実験において,その優位性を示した。
論文参考訳（メタデータ） (2023-10-16T07:09:47Z)
Parametric Leaky Tanh: A New Hybrid Activation Function for Deep Learning [0.0]
活性化機能(AF)はディープニューラルネットワーク(DNN)の重要な構成要素である本稿では,Tanh と Leaky ReLU の双方の活性化関数の強みを組み合わせたハイブリッド活性化関数を提案する。 PLanh はすべての点で微分可能であり、負の入力に対する非ゼロ勾配を保証することで 'dying ReLU' 問題に対処する。
論文参考訳（メタデータ） (2023-08-11T08:59:27Z)
On Convergence of Incremental Gradient for Non-Convex Smooth Functions [63.51187646914962]
機械学習とネットワーク最適化では、ミスの数と優れたキャッシュを最小化するため、シャッフルSGDのようなアルゴリズムが人気である。本稿では任意のデータ順序付けによる収束特性SGDアルゴリズムについて述べる。
論文参考訳（メタデータ） (2023-05-30T17:47:27Z)
Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection [50.14730810124592]
サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
論文参考訳（メタデータ） (2022-10-20T06:00:45Z)
Nish: A Novel Negative Stimulated Hybrid Activation Function [5.482532589225552]
負刺激ハイブリッド活性化関数(Nish)と呼ばれる新しい非単調活性化関数を提案する。これは、0より大きい値に対するRectified Linear Unit (ReLU)関数や、0より小さい値に対する正弦-正弦波関数のように振る舞う。提案関数はシグモイド波と正弦波を包含し、従来のReLU活性化に対する新しいダイナミクスを可能にする。
論文参考訳（メタデータ） (2022-10-17T13:32:52Z)
Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文参考訳（メタデータ） (2022-02-13T10:54:59Z)
SMU: smooth activation function for deep networks using smoothing maximum technique [1.5267236995686555]
本稿では、Leaky ReLUのような既知のアクティベーション関数の近似に基づく新しいアクティベーション関数を提案する。 ShuffleNet V2モデルでCIFAR100データセットを6.22%改善しました。
論文参考訳（メタデータ） (2021-11-08T17:54:08Z)
Sparse Attention with Linear Units [60.399814410157425]
本稿では, ソフトマックスアクティベーションをReLUに置き換えることにより, 注目度を向上する新しい, 簡便な手法を提案する。我々のモデルはRectified Linear Attention (ReLA)と呼ばれ、以前提案したスパースアテンション機構よりも実装が容易で効率的である。分析の結果,RELAは高い空間性率と頭部の多様性を達成でき,ソース・ターゲット単語アライメントの精度が向上することがわかった。
論文参考訳（メタデータ） (2021-04-14T17:52:38Z)
Dynamic ReLU [74.973224160508]
本稿では、すべてのインプット要素上のハイパー関数によって生成されるパラメータの動的入力である動的ReLU(DY-ReLU)を提案する。静的に比較すると、DY-ReLUは余分な計算コストは無視できるが、表現能力ははるかに高い。単にDY-ReLUをMobileNetV2に使用することで、ImageNet分類のトップ-1の精度は72.0%から76.2%に向上し、追加のFLOPは5%に留まった。
論文参考訳（メタデータ） (2020-03-22T23:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。