Fugu-MT 論文翻訳(概要): Empirical study of the modulus as activation function in computer vision applications

論文の概要: Empirical study of the modulus as activation function in computer vision applications

arxiv url: http://arxiv.org/abs/2301.05993v1
Date: Sun, 15 Jan 2023 00:32:03 GMT
ステータス: 処理完了
システム内更新日: 2023-01-18 17:58:36.082994
Title: Empirical study of the modulus as activation function in computer vision applications
Title（参考訳）: コンピュータビジョン応用におけるアクティベーション関数としてのモジュラーの実証的研究
Authors: Iv\'an Vall\'es-P\'erez, Emilio Soria-Olivas, Marcelino Mart\'inez-Sober, Antonio J. Serrano-L\'opez, Joan Vila-Franc\'es, Juan G\'omez-Sanch\'is
Abstract要約: コンピュータビジョンタスクにおいて提案した関数を用いることで、他の非線形性よりもモデルがより一般化できることが示される。提案する関数とそのデリバティブの単純さは、TinyMLおよびハードウェアアプリケーションに特に適している。
参考スコア（独自算出の注目度）: 1.5099465160569119
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this work we propose a new non-monotonic activation function: the modulus. The majority of the reported research on nonlinearities is focused on monotonic functions. We empirically demonstrate how by using the modulus activation function on computer vision tasks the models generalize better than with other nonlinearities - up to a 15% accuracy increase in CIFAR100 and 4% in CIFAR10, relative to the best of the benchmark activations tested. With the proposed activation function the vanishing gradient and dying neurons problems disappear, because the derivative of the activation function is always 1 or -1. The simplicity of the proposed function and its derivative make this solution specially suitable for TinyML and hardware applications.
Abstract（参考訳）: 本研究では,新しい非単調活性化関数であるモジュラスを提案する。非線形性に関する多くの研究は単調関数に焦点が当てられている。コンピュータビジョンタスクでモジュラーアクティベーション関数を用いることで、モデルが他の非線形性よりもうまく一般化することを示す実験を行い、cifar100では最大15%、cifar10では4%の精度向上が得られた。活性化関数の導出は常に 1 または -1 であるため、提案された活性化関数により、消失する勾配と死するニューロンの問題は消失する。提案する関数とその導関数の単純さは、TinyMLおよびハードウェアアプリケーションに特に適している。

関連論文リスト

Active Learning for Derivative-Based Global Sensitivity Analysis with Gaussian Processes [70.66864668709677]
高価なブラックボックス関数のグローバル感度解析におけるアクティブラーニングの問題点を考察する。関数評価は高価であるため,最も価値の高い実験資源の優先順位付けにアクティブラーニングを利用する。本稿では,デリバティブに基づくグローバル感度測定の重要量を直接対象とする,新たな能動的学習獲得関数を提案する。
論文参考訳（メタデータ） (2024-07-13T01:41:12Z)
ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
論文参考訳（メタデータ） (2024-02-06T08:45:51Z)
Saturated Non-Monotonic Activation Functions [21.16866749728754]
SGELU, SSiLU, SMishはGELU, SiLU, Mishの負の部分とReLUの正の部分から構成される。 CIFAR-100における画像分類実験の結果,提案するアクティベーション関数は,複数のディープラーニングアーキテクチャにおいて,高い有効性と,最先端のベースラインよりも優れていたことが示唆された。
論文参考訳（メタデータ） (2023-05-12T15:01:06Z)
Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文参考訳（メタデータ） (2023-04-17T14:23:43Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Data-aware customization of activation functions reduces neural network error [0.35172332086962865]
本稿では,データ認識によるアクティベーション関数のカスタマイズにより,ニューラルネットワークのエラーが大幅に低減されることを示す。既に精製されたニューラルネットワークにおけるカモメの活性化機能への簡単な置換は、エラーのオーダー・オブ・マグニチュードの低減につながる可能性がある。
論文参考訳（メタデータ） (2023-01-16T23:38:37Z)
Stochastic Adaptive Activation Function [1.9199289015460212]
本研究では,単位の位置や入力の文脈に応じて,異なるしきい値と適応的なアクティベーションを促進する,シンプルで効果的なアクティベーション関数を提案する。実験により,我々のアクティベーション関数は,多くのディープラーニングアプリケーションにおいて,より正確な予測と早期収束の利点を享受できることを示した。
論文参考訳（メタデータ） (2022-10-21T01:57:25Z)
Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection [50.14730810124592]
サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
論文参考訳（メタデータ） (2022-10-20T06:00:45Z)
Nish: A Novel Negative Stimulated Hybrid Activation Function [5.482532589225552]
負刺激ハイブリッド活性化関数(Nish)と呼ばれる新しい非単調活性化関数を提案する。これは、0より大きい値に対するRectified Linear Unit (ReLU)関数や、0より小さい値に対する正弦-正弦波関数のように振る舞う。提案関数はシグモイド波と正弦波を包含し、従来のReLU活性化に対する新しいダイナミクスを可能にする。
論文参考訳（メタデータ） (2022-10-17T13:32:52Z)
Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文参考訳（メタデータ） (2022-08-30T09:47:31Z)
Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks [0.1529342790344802]
畳み込みニューラルネットワークは多くの社会的に重要で経済的に重要な問題を解くことに成功した。ディープネットワークのトレーニングを可能にする重要な発見は、Rectified Linear Unit (ReLU) アクティベーション機能の採用であった。新しい活性化関数 C(z) = z cos z は様々なアーキテクチャ上で Sigmoids, Swish, Mish, ReLU より優れる。
論文参考訳（メタデータ） (2021-08-30T01:07:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。