論文の概要: TanhSoft -- a family of activation functions combining Tanh and Softplus
- arxiv url: http://arxiv.org/abs/2009.03863v1
- Date: Tue, 8 Sep 2020 16:59:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 20:29:49.089355
- Title: TanhSoft -- a family of activation functions combining Tanh and Softplus
- Title（参考訳）: TanhSoft -- TanhとSoftplusを組み合わせたアクティベーション機能のファミリー
- Authors: Koushik Biswas, Sandeep Kumar, Shilpak Banerjee, Ashish Kumar Pandey
- Abstract要約: 本稿では,いくつかのよく知られたアクティベーション関数より優れていることを示す,新しいアクティベーション関数群,すなわちTanhSoftを提案する。
例えば、ReLUをxtanh(0.6ex)に置き換えると、CIFAR-10上のトップ1の分類精度が0.46%向上する。
- 参考スコア（独自算出の注目度）: 3.3224066223099484
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning at its core, contains functions that are composition of a
linear transformation with a non-linear function known as activation function.
In past few years, there is an increasing interest in construction of novel
activation functions resulting in better learning. In this work, we propose a
family of novel activation functions, namely TanhSoft, with four undetermined
hyper-parameters of the form
tanh({\alpha}x+{\beta}e^{{\gamma}x})ln({\delta}+e^x) and tune these
hyper-parameters to obtain activation functions which are shown to outperform
several well known activation functions. For instance, replacing ReLU with
xtanh(0.6e^x)improves top-1 classification accuracy on CIFAR-10 by 0.46% for
DenseNet-169 and 0.7% for Inception-v3 while with tanh(0.87x)ln(1 +e^x) top-1
classification accuracy on CIFAR-100 improves by 1.24% for DenseNet-169 and
2.57% for SimpleNet model.
- Abstract（参考訳）: 中心となるディープラーニングは、活性化関数として知られる非線形関数を持つ線形変換を構成する関数を含む。
近年,新しい活性化機能の構築への関心が高まっており,学習の質が向上している。
本研究では,tanh({\alpha}x+{\beta}e^{{\gamma}x})ln({\delta}+e^x)の4つの未決定ハイパーパラメータを持つ新しい活性化関数tanhsoftの族を提案し,それらのハイパーパラメータをチューニングして,いくつかの既知の活性化関数を上回る活性化関数を得る。
例えば、ReLUをxtanh(0.6e^x)に置き換えると、CIFAR-10では0.46%、Inception-v3では0.7%、CIFAR-100ではTanh(0.87x)ln(1 +e^x)でトップ1分類精度が1.24%、SimpleNetモデルでは2.57%向上する。
関連論文リスト
- Expanded Gating Ranges Improve Activation Functions [0.0]
拡張ArcTanリニアユニット(xATLU)、拡張GELU(xGELU)、拡張SiLU(xSiLU)は、トランスアーキテクチャ内の既存のアクティベーション関数より優れていることがわかった。
また、拡張ゲーティング範囲は1次ゲーティング線形ユニット(GLU)の改善に有望な結果を示すことも示している。
論文 参考訳（メタデータ） (2024-05-25T09:12:17Z) - TaLU: A Hybrid Activation Function Combining Tanh and Rectified Linear
Unit to Enhance Neural Networks [1.3477333339913569]
TaLUはTanhとReLUを組み合わせた活性化機能である。
MNIST と CIFAR-10 の深層学習モデルについて検討した。
論文 参考訳（メタデータ） (2023-05-08T01:13:59Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳（メタデータ） (2022-02-13T10:54:59Z) - SAU: Smooth activation function using convolution with approximate
identities [1.5267236995686555]
ReLU や Leaky ReLU のようなよく知られた活性化関数は原点において微分不可能である。
そこで本研究では, 微分不可能なアクティベーション関数を近似IDで結合することで, 新たなスムーズな近似式を提案する。
論文 参考訳（メタデータ） (2021-09-27T17:31:04Z) - Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。
特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。
PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
論文 参考訳（メタデータ） (2021-04-08T11:29:11Z) - eQE 2.0: Subsystem DFT Beyond GGA Functionals [58.720142291102135]
サブシステム-DFT (subsystem-DFT) は、大規模電子構造計算の計算コストを劇的に削減することができる。
sDFTの鍵となる要素は、その精度を支配する非付加的な運動エネルギーと交換相関関数である。
eQE 2.0は従来のコーンシャムDFTやCCSD(T)と比較して優れた相互作用エネルギーを提供する
論文 参考訳（メタデータ） (2021-03-12T22:26:36Z) - Optimal Approximation -- Smoothness Tradeoffs for Soft-Max Functions [73.33961743410876]
ソフトマックス関数は近似と滑らかさの2つの主要な効率尺度を持つ。
近似と滑らか性の異なる尺度に対する最適近似-滑らか性トレードオフを同定する。
これにより、新しいソフトマックス関数が生まれ、それぞれ異なる用途に最適である。
論文 参考訳（メタデータ） (2020-10-22T05:19:58Z) - EIS -- a family of activation functions combining Exponential, ISRU, and
Softplus [3.3224066223099484]
基本関数から生じるいくつかの新しい活性化関数が提案され、いくつかの挑戦的なデータセットにおいて精度が向上した。
EISファミリーのアクティベーション関数は、よく知られたデータセットやモデル上で広く使われているアクティベーション関数より優れていることを示す。
論文 参考訳（メタデータ） (2020-09-28T17:48:24Z) - Activate or Not: Learning Customized Activation [87.04710999861196]
ACONは神経細胞を活性化するかどうかを学ぶ。
Meta-ACONは、非線形(アクティベート)と線形(アクティベート)の間のパラメータスイッチングを最適化するために明示的に学習する
論文 参考訳（メタデータ） (2020-09-10T09:59:19Z) - Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。
実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
論文 参考訳（メタデータ） (2020-07-05T18:58:47Z) - Reinforcement Learning with General Value Function Approximation:
Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。
我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。
我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
論文 参考訳（メタデータ） (2020-05-21T17:36:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。