論文の概要: Why MDAC? A Multi-domain Activation Function

• arxiv url: http://arxiv.org/abs/2111.13858v1
• Date: Sat, 27 Nov 2021 10:05:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 11:47:00.768657
• Title: Why MDAC? A Multi-domain Activation Function
• Title（参考訳）: なぜMDAC? 多領域活性化関数
• Authors: Zhenhua Wang, Dong Gao, Haozhe Liu, Fanglin Liu
• Abstract要約: MDACは、勾配の消失と微分不可能な存在の問題を克服するために提案されている。 正の領域では、適応線形構造は様々な領域分布に対応するように設計されている。 負の領域では、指数と線形性の組み合わせは勾配消滅の障害を克服すると考えられる。
• 参考スコア（独自算出の注目度）: 4.063955368414464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this study, a novel, general and ingenious activation function termed MDAC is proposed to surmount the troubles of gradient vanishing and non-differentiable existence. MDAC approximately inherits the properties of exponential activation function (such as Tanh family) and piecewise linear activation function (such as ReLU family). Specifically, in the positive region, the adaptive linear structure is designed to respond to various domain distributions. In the negative region, the combination of exponent and linearity is considered to conquer the obstacle of gradient vanishing. Furthermore, the non-differentiable existence is eliminated by smooth approximation. Experiments show that MDAC improves performance on both classical models and pre-training optimization models in six domain datasets by simply changing the activation function, which indicates MDAC's effectiveness and pro-gressiveness. MDAC is superior to other prevalent activation functions in robustness and generalization, and can reflect excellent activation performance in multiple domains.
• Abstract（参考訳）: 本研究では,mdacと呼ばれる新規で汎用的で独創的な活性化関数を提案し,勾配消失と非微分的存在の問題を克服する。 MDACは指数的活性化関数(Tanh family など)と部分的線形活性化関数(ReLU family など)の性質をほぼ継承する。 特に正の領域では、適応線形構造は様々な領域分布に対応するように設計されている。 負の領域では指数と線形性の組み合わせは勾配の消失の障害を克服すると考えられている。 さらに、微分不可能な存在は滑らかな近似によって排除される。 実験により、MDACはアクティベーション関数を単に変更することで、6つのドメインデータセットにおける古典モデルと事前学習最適化モデルの両方の性能を改善し、MDACの有効性とプログレッシブ性を示す。 MDACは、ロバスト性や一般化において他の一般的なアクティベーション関数よりも優れており、複数のドメインで優れたアクティベーション性能を反映することができる。

関連論文リスト

• Sparsing Law: Towards Large Language Models with Greater Activation Sparsity [62.09617609556697]
  活性化空間性は、除去できる活性化出力の中に、かなり弱い分散要素が存在することを表す。 PPL-$p%$ sparsity, a accurate and performance-aware activation sparsity metric。 我々は、SiLUよりも活性化関数としてReLUが効率的であることを示し、より多くのトレーニングデータを利用してアクティベーション空間を改善することができることを示した。
  論文  参考訳（メタデータ） (2024-11-04T17:59:04Z)
• Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features [115.33889811527533]
  拡散モデルは当初、画像生成のために設計されている。 近年の研究では、バックボーンの内部シグナルはアクティベーションと呼ばれ、様々な識別タスクの高密度な特徴として機能することが示されている。
  論文  参考訳（メタデータ） (2024-10-04T16:05:14Z)
• Generalized Activation via Multivariate Projection [46.837481855573145]
  活性化関数はニューラルネットワークに非線形性を導入するのに不可欠である。 我々は、ReLU を R から非負半直線 R+ への射影とみなす。 一般化された射影作用素でReLUを2次錐(SOC)射影のような凸錐に置換することでReLUを拡張する。
  論文  参考訳（メタデータ） (2023-09-29T12:44:27Z)
• Saturated Non-Monotonic Activation Functions [21.16866749728754]
  SGELU, SSiLU, SMishはGELU, SiLU, Mishの負の部分とReLUの正の部分から構成される。 CIFAR-100における画像分類実験の結果,提案するアクティベーション関数は,複数のディープラーニングアーキテクチャにおいて,高い有効性と,最先端のベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-05-12T15:01:06Z)
• Stochastic Adaptive Activation Function [1.9199289015460212]
  本研究では,単位の位置や入力の文脈に応じて,異なるしきい値と適応的なアクティベーションを促進する,シンプルで効果的なアクティベーション関数を提案する。 実験により,我々のアクティベーション関数は,多くのディープラーニングアプリケーションにおいて,より正確な予測と早期収束の利点を享受できることを示した。
  論文  参考訳（メタデータ） (2022-10-21T01:57:25Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Continuous Submodular Function Maximization [91.17492610120324]
  連続部分モジュラリティ (continuous submodularity) は、幅広い応用を持つ関数のクラスである。 連続的な部分モジュラ最適化の応用は、影響、推論のMAP、フィールドへの推論など多岐にわたる。
  論文  参考訳（メタデータ） (2020-06-24T04:37:31Z)
• Discovering Parametric Activation Functions [17.369163074697475]
  本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。 CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
  論文  参考訳（メタデータ） (2020-06-05T00:25:33Z)
• Soft-Root-Sign Activation Function [21.716884634290516]
  SRS(Soft-Root-Sign)は滑らかで、非単調で有界である。 ReLUとは対照的に、SRSは独立したトレーニング可能なパラメータのペアによって出力を適応的に調整することができる。 我々のSRSはReLUや他の最先端の非線形性と一致または超えます。
  論文  参考訳（メタデータ） (2020-03-01T18:38:11Z)
• Investigating the interaction between gradient-only line searches and different activation functions [0.0]
  勾配専用線探索(GOLS)は、ニューラルネットワークトレーニングにおける不連続損失関数の探索方向に沿ったステップサイズを適応的に決定する。 GOLSは様々なアクティベーション機能に対して堅牢であるが,標準フィードフォワードアーキテクチャにおけるRectified Linear Unit(ReLU)アクティベーション機能に敏感であることがわかった。
  論文  参考訳（メタデータ） (2020-02-23T12:28:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。