Fugu-MT 論文翻訳(概要): SMU: smooth activation function for deep networks using smoothing maximum technique

論文の概要: SMU: smooth activation function for deep networks using smoothing maximum technique

arxiv url: http://arxiv.org/abs/2111.04682v1
Date: Mon, 8 Nov 2021 17:54:08 GMT
ステータス: 処理完了
システム内更新日: 2021-11-09 14:20:13.361474
Title: SMU: smooth activation function for deep networks using smoothing maximum technique
Title（参考訳）: SMU:スムージング最大化手法を用いたディープネットワークのスムーズなアクティベーション機能
Authors: Koushik Biswas, Sandeep Kumar, Shilpak Banerjee, Ashish Kumar Pandey
Abstract要約: 本稿では、Leaky ReLUのような既知のアクティベーション関数の近似に基づく新しいアクティベーション関数を提案する。 ShuffleNet V2モデルでCIFAR100データセットを6.22%改善しました。
参考スコア（独自算出の注目度）: 1.5267236995686555
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep learning researchers have a keen interest in proposing two new novel activation functions which can boost network performance. A good choice of activation function can have significant consequences in improving network performance. A handcrafted activation is the most common choice in neural network models. ReLU is the most common choice in the deep learning community due to its simplicity though ReLU has some serious drawbacks. In this paper, we have proposed a new novel activation function based on approximation of known activation functions like Leaky ReLU, and we call this function Smooth Maximum Unit (SMU). Replacing ReLU by SMU, we have got 6.22% improvement in the CIFAR100 dataset with the ShuffleNet V2 model.
Abstract（参考訳）: ディープラーニングの研究者たちは、ネットワークのパフォーマンスを高める2つの新しいアクティベーション機能の提案に熱心だ。アクティベーション機能のよい選択は、ネットワークパフォーマンスの改善に大きな影響を与える可能性がある。手作りのアクティベーションは、ニューラルネットワークモデルで最も一般的な選択である。 ReLUは単純さのため、ディープラーニングコミュニティでは最も一般的な選択肢である。本稿では、Leaky ReLUのような既知の活性化関数の近似に基づく新しい活性化関数を提案し、これをSmooth Maximum Unit(SMU)と呼ぶ。 SMUによるReLUの代替として、ShuffleNet V2モデルによるCIFAR100データセットが6.22%改善されました。

関連論文リスト

ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
論文参考訳（メタデータ） (2024-02-06T08:45:51Z)
A Non-monotonic Smooth Activation Function [4.269446061678759]
活性化関数は、ネットワークに非線形性を導入するため、ディープラーニングモデルにおいて不可欠である。本研究では,非単調かつ滑らかな機能であるSqishと呼ばれる新しいアクティベーション関数を提案する。分類,物体検出,セグメンテーションタスク,対向ロバストネス実験において,その優位性を示した。
論文参考訳（メタデータ） (2023-10-16T07:09:47Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
APTx: better activation function than MISH, SWISH, and ReLU's variants used in deep learning [0.0]
活性化関数はディープニューラルネットワークに非線形性をもたらす。本稿では,MISHとよく似た動作をするアクティベーション関数 APTx を提案する。
論文参考訳（メタデータ） (2022-09-10T14:26:04Z)
SAU: Smooth activation function using convolution with approximate identities [1.5267236995686555]
ReLU や Leaky ReLU のようなよく知られた活性化関数は原点において微分不可能である。そこで本研究では, 微分不可能なアクティベーション関数を近似IDで結合することで, 新たなスムーズな近似式を提案する。
論文参考訳（メタデータ） (2021-09-27T17:31:04Z)
MicroNet: Improving Image Recognition with Extremely Low FLOPs [82.54764264255505]
疎結合性と動的アクティベーション関数の2つの要因が,精度向上に有効であることがわかった。非線形性を改善するために動的シフトマックスと呼ばれる新しい動的アクティベーション関数を提案する。私たちはMicroNetというネットワークのファミリに到達し、低FLOP体制下での最先端技術に対して大きなパフォーマンス向上を実現しています。
論文参考訳（メタデータ） (2021-08-12T17:59:41Z)
CondenseNet V2: Sparse Feature Reactivation for Deep Networks [87.38447745642479]
高密度接続によるディープネットワークの機能再利用は、高い計算効率を達成する効果的な方法である。スパース機能再活性化(SFR)と呼ばれる代替アプローチを提案し、再利用機能の有用性を積極的に高めることを目指しています。提案手法は画像分類(ImageNet, CIFAR)とオブジェクト検出(MSCOCO)において,理論的効率と実用的速度の両面で有望な性能を達成できることを示す。
論文参考訳（メタデータ） (2021-04-09T14:12:43Z)
Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。 PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
論文参考訳（メタデータ） (2021-04-08T11:29:11Z)
Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
論文参考訳（メタデータ） (2020-11-24T01:53:39Z)
Dynamic ReLU [74.973224160508]
本稿では、すべてのインプット要素上のハイパー関数によって生成されるパラメータの動的入力である動的ReLU(DY-ReLU)を提案する。静的に比較すると、DY-ReLUは余分な計算コストは無視できるが、表現能力ははるかに高い。単にDY-ReLUをMobileNetV2に使用することで、ImageNet分類のトップ-1の精度は72.0%から76.2%に向上し、追加のFLOPは5%に留まった。
論文参考訳（メタデータ） (2020-03-22T23:45:35Z)
Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。 ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
論文参考訳（メタデータ） (2020-02-17T19:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。