Fugu-MT 論文翻訳(概要): APTx: better activation function than MISH, SWISH, and ReLU's variants used in deep learning

論文の概要: APTx: better activation function than MISH, SWISH, and ReLU's variants used in deep learning

arxiv url: http://arxiv.org/abs/2209.06119v1
Date: Sat, 10 Sep 2022 14:26:04 GMT
ステータス: 処理完了
システム内更新日: 2022-09-14 12:06:35.149949
Title: APTx: better activation function than MISH, SWISH, and ReLU's variants used in deep learning
Title（参考訳）: APTx: 深層学習におけるMISH, SWISH, ReLUの変種よりも優れた活性化機能
Authors: Ravin Kumar
Abstract要約: 活性化関数はディープニューラルネットワークに非線形性をもたらす。本稿では,MISHとよく似た動作をするアクティベーション関数 APTx を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Activation Functions introduce non-linearity in the deep neural networks. This nonlinearity helps the neural networks learn faster and efficiently from the dataset. In deep learning, many activation functions are developed and used based on the type problem statement. ReLU's variants, SWISH, and MISH are goto activation functions. MISH function is considered similar or even better performance than SWISH, and much better than ReLU. In this paper, we propose an activation function named APTx which behaves similar to MISH, but requires lesser mathematical operations to compute. The lesser computational requirements of APTx does speed up the model training, and thus also reduces the hardware requirement for the deep learning model.
Abstract（参考訳）: Activation Functionsはディープニューラルネットワークに非線形性を導入する。この非線形性は、データセットからニューラルネットワークを高速かつ効率的に学習するのに役立つ。ディープラーニングでは、型問題文に基づいて多くのアクティベーション関数が開発され、使用される。 ReLUの変種であるSWISHとMISHはgotoアクティベーション機能である。 MISH 関数は SWISH とよく似ており、ReLU よりずっと良い性能である。本稿では,MISHとよく似た動作をするアクティベーション関数 APTx を提案する。 APTxのより少ない計算要件は、モデルのトレーニングを高速化し、深層学習モデルのハードウェア要件を低減します。

関連論文リスト

Activation function optimization method: Learnable series linear units (LSLUs) [12.089173508371246]
LSLU (Learnable Series Linear Units) と呼ばれる直列学習可能なac-tivation関数を提案する。この方法は、精度を向上しつつ、ディープラーニングネットワークを単純化する。 CIFAR10, CIFAR100および特定のタスクデータセット(例えばSilkworm)上でのLSLUの性能を評価する。
論文参考訳（メタデータ） (2024-08-28T11:12:27Z)
ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
論文参考訳（メタデータ） (2024-02-06T08:45:51Z)
TaLU: A Hybrid Activation Function Combining Tanh and Rectified Linear Unit to Enhance Neural Networks [1.3477333339913569]
TaLUはTanhとReLUを組み合わせた活性化機能である。 MNIST と CIFAR-10 の深層学習モデルについて検討した。
論文参考訳（メタデータ） (2023-05-08T01:13:59Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
SMU: smooth activation function for deep networks using smoothing maximum technique [1.5267236995686555]
本稿では、Leaky ReLUのような既知のアクティベーション関数の近似に基づく新しいアクティベーション関数を提案する。 ShuffleNet V2モデルでCIFAR100データセットを6.22%改善しました。
論文参考訳（メタデータ） (2021-11-08T17:54:08Z)
Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
論文参考訳（メタデータ） (2021-10-31T18:35:10Z)
Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks [0.1529342790344802]
畳み込みニューラルネットワークは多くの社会的に重要で経済的に重要な問題を解くことに成功した。ディープネットワークのトレーニングを可能にする重要な発見は、Rectified Linear Unit (ReLU) アクティベーション機能の採用であった。新しい活性化関数 C(z) = z cos z は様々なアーキテクチャ上で Sigmoids, Swish, Mish, ReLU より優れる。
論文参考訳（メタデータ） (2021-08-30T01:07:05Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。 PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
論文参考訳（メタデータ） (2021-04-08T11:29:11Z)
On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。私たちの後悔の限界はエピソードの数とは無関係です。
論文参考訳（メタデータ） (2020-11-09T18:32:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。