論文の概要: ErfAct: Non-monotonic smooth trainable Activation Functions
- arxiv url: http://arxiv.org/abs/2109.04386v1
- Date: Thu, 9 Sep 2021 16:17:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-10 17:45:43.254660
- Title: ErfAct: Non-monotonic smooth trainable Activation Functions
- Title（参考訳）: ErfAct:非単調スムーズなトレーニング可能なアクティベーション関数
- Authors: Koushik Biswas, Sandeep Kumar, Shilpak Banerjee, Ashish Kumar Pandey
- Abstract要約: 本稿では,ErfAct-1とErfAct-2という2つの新しい非単調なスムーズなアクティベーション関数を提案する。
実験の結果,提案機能はReLUやSwish,Mishなど,広く使われているアクティベーションに比べてネットワーク性能が大幅に向上していることがわかった。
- 参考スコア（独自算出の注目度）: 1.5267236995686555
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An activation function is a crucial component of a neural network that
introduces non-linearity in the network. The state-of-the-art performance of a
neural network depends on the perfect choice of an activation function. We
propose two novel non-monotonic smooth trainable activation functions, called
ErfAct-1 and ErfAct-2. Experiments suggest that the proposed functions improve
the network performance significantly compared to the widely used activations
like ReLU, Swish, and Mish. Replacing ReLU by ErfAct-1 and ErfAct-2, we have
5.21% and 5.04% improvement for top-1 accuracy on PreactResNet-34 network in
CIFAR100 dataset, 2.58% and 2.76% improvement for top-1 accuracy on
PreactResNet-34 network in CIFAR10 dataset, 1.0%, and 1.0% improvement on mean
average precision (mAP) on SSD300 model in Pascal VOC dataset.
- Abstract（参考訳）: アクティベーション関数は、ネットワーク内の非線形性を導入するニューラルネットワークの重要なコンポーネントである。
ニューラルネットワークの最先端のパフォーマンスは、アクティベーション関数の完全な選択に依存する。
本稿では,ErfAct-1とErfAct-2という2つの新しい非単調なスムーズなアクティベーション関数を提案する。
実験の結果,提案機能はReLUやSwish,Mishなど,広く使われているアクティベーションに比べてネットワーク性能が大幅に向上していることがわかった。
ErfAct-1とErfAct-2によるReLUの置き換えにより、CIFAR100データセットにおけるPreactResNet-34ネットワークにおけるトップ1精度の5.21%と5.04%の改善、CIFAR10データセットにおけるPreactResNet-34ネットワークにおけるトップ1精度の2.58%と2.76%の改善、Pascal VOCデータセットにおけるSSD300モデルにおける平均平均精度(mAP)の1.0%の改善が達成された。
関連論文リスト
- Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。
本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。
提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
論文 参考訳（メタデータ） (2024-08-11T02:59:11Z) - APALU: A Trainable, Adaptive Activation Function for Deep Learning
Networks [0.0]
APALU(Adaptive piecewise approximated activation linear unit)を新たに導入する。
実験では、様々なタスクに広く使用されるアクティベーション関数よりも大幅に改善されている。
APALUは、限られたデータセットで手話認識タスクにおいて100%精度を達成する。
論文 参考訳（メタデータ） (2024-02-13T06:18:42Z) - A Non-monotonic Smooth Activation Function [4.269446061678759]
活性化関数は、ネットワークに非線形性を導入するため、ディープラーニングモデルにおいて不可欠である。
本研究では,非単調かつ滑らかな機能であるSqishと呼ばれる新しいアクティベーション関数を提案する。
分類,物体検出,セグメンテーションタスク,対向ロバストネス実験において,その優位性を示した。
論文 参考訳（メタデータ） (2023-10-16T07:09:47Z) - Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。
RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文 参考訳（メタデータ） (2022-08-30T09:47:31Z) - ANAct: Adaptive Normalization for Activation Functions [4.914574267850376]
活性化関数がニューラルネットワークの前方および後方伝播にどのように影響するかを示す。
本稿では,階層間の一貫した勾配分散を維持するために,アクティベーション関数の正規化を行うANActを提案する。
論文 参考訳（メタデータ） (2022-08-29T00:17:32Z) - MicroNet: Improving Image Recognition with Extremely Low FLOPs [82.54764264255505]
疎結合性と動的アクティベーション関数の2つの要因が,精度向上に有効であることがわかった。
非線形性を改善するために動的シフトマックスと呼ばれる新しい動的アクティベーション関数を提案する。
私たちはMicroNetというネットワークのファミリに到達し、低FLOP体制下での最先端技術に対して大きなパフォーマンス向上を実現しています。
論文 参考訳（メタデータ） (2021-08-12T17:59:41Z) - Orthogonal-Pad\'e Activation Functions: Trainable Activation functions
for smooth and faster convergence in deep networks [0.0]
我々は,Hermite-Pade(HP)アクティベーション機能(HP-1とHP-2)と呼ばれる6つの直交パッドアクティベーションのうち,2つの最適な候補を発見した。
ReLUと比較して、HP-1とHP-2は、それぞれ5.06%、PreActResNet-34では4.63%、CIFAR100データセット上のMobileNet V2モデルでは3.02%、そして2.75%の精度でトップ1の精度が向上した。
CIFAR10データセットのTop-1精度は、PreActResNet-34ではそれぞれ2.02%と1.78%、LeNetでは2.24%、2.06%向上する。
論文 参考訳（メタデータ） (2021-06-17T17:47:01Z) - CondenseNet V2: Sparse Feature Reactivation for Deep Networks [87.38447745642479]
高密度接続によるディープネットワークの機能再利用は、高い計算効率を達成する効果的な方法である。
スパース機能再活性化(SFR)と呼ばれる代替アプローチを提案し、再利用機能の有用性を積極的に高めることを目指しています。
提案手法は画像分類(ImageNet, CIFAR)とオブジェクト検出(MSCOCO)において,理論的効率と実用的速度の両面で有望な性能を達成できることを示す。
論文 参考訳（メタデータ） (2021-04-09T14:12:43Z) - Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。
特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。
PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
論文 参考訳（メタデータ） (2021-04-08T11:29:11Z) - Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。
我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。
すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文 参考訳（メタデータ） (2020-03-25T17:54:38Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。