論文の概要: Deep Learning Activation Functions: Fixed-Shape, Parametric, Adaptive, Stochastic, Miscellaneous, Non-Standard, Ensemble
- arxiv url: http://arxiv.org/abs/2407.11090v1
- Date: Sun, 14 Jul 2024 17:53:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 19:50:53.001297
- Title: Deep Learning Activation Functions: Fixed-Shape, Parametric, Adaptive, Stochastic, Miscellaneous, Non-Standard, Ensemble
- Title（参考訳）: 深層学習活性化関数:固定形、パラメトリック、適応型、確率型、雑多型、非標準型、アンサンブル
- Authors: M. M. Hammad,
- Abstract要約: 活性化関数(AF)は、ディープラーニングモデルのアーキテクチャにおいて重要な役割を果たす。
本稿では, 固定形, 適応型, 非標準型, アンサンブル/組合わせ型など, 様々な種類のAFについて概観する。
本研究は,12種類の最先端AFを比較検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the architecture of deep learning models, inspired by biological neurons, activation functions (AFs) play a pivotal role. They significantly influence the performance of artificial neural networks. By modulating the non-linear properties essential for learning complex patterns, AFs are fundamental in both classification and regression tasks. This paper presents a comprehensive review of various types of AFs, including fixed-shape, parametric, adaptive, stochastic/probabilistic, non-standard, and ensemble/combining types. We begin with a systematic taxonomy and detailed classification frameworks that delineates the principal characteristics of AFs and organizes them based on their structural and functional distinctions. Our in-depth analysis covers primary groups such as sigmoid-based, ReLU-based, and ELU-based AFs, discussing their theoretical foundations, mathematical formulations, and specific benefits and limitations in different contexts. We also highlight key attributes of AFs such as output range, monotonicity, and smoothness. Furthermore, we explore miscellaneous AFs that do not conform to these categories but have shown unique advantages in specialized applications. Non-standard AFs are also explored, showcasing cutting-edge variations that challenge traditional paradigms and offer enhanced adaptability and model performance. We examine strategies for combining multiple AFs to leverage complementary properties. The paper concludes with a comparative evaluation of 12 state-of-the-art AFs, using rigorous statistical and experimental methodologies to assess their efficacy. This analysis not only aids practitioners in selecting and designing the most appropriate AFs for their specific deep learning tasks but also encourages continued innovation in AF development within the machine learning community.
- Abstract（参考訳）: 生物学的ニューロンにインスパイアされたディープラーニングモデルのアーキテクチャでは、活性化機能(AF)が重要な役割を果たす。
人工ニューラルネットワークの性能に大きな影響を及ぼす。
複雑なパターンを学習するのに不可欠な非線形特性を調節することにより、AFは分類と回帰の両方において基礎となる。
本稿では, 固定形, パラメトリック, 適応型, 確率・確率型, 非標準型, アンサンブル/組合わせ型など, 様々な種類のAFについて概観する。
組織分類と詳細な分類の枠組みから始まり、AFの主な特徴を規定し、それらの構造的・機能的区別に基づいてそれらを整理する。
我々はSigmoid-based、ReLU-based、ELU-based AFsといった主要なグループについて詳細な分析を行い、それらの理論的基礎、数学的定式化、異なる文脈における特定の利益と制限について論じている。
また、出力範囲、単調性、滑らかさなどのAFのキー属性も強調する。
さらに,これらのカテゴリに適合しないが,特殊用途に特有な優位性を示した異種AFについて検討する。
非標準AFも検討され、従来のパラダイムに挑戦し、適応性とモデル性能を向上させる最先端のバリエーションを示している。
相補的特性を利用するために複数のAFを組み合わせる戦略を検討する。
本研究は, 厳密な統計的および実験的手法を用いて, 12種類の最先端AFを比較検討し, その有効性について検討した。
この分析は、実践者が特定のディープラーニングタスクに対して最適なAFを選択し設計するのを助けるだけでなく、機械学習コミュニティにおけるAF開発における継続的なイノベーションを促進する。
関連論文リスト
- High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。
具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。
2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2024-09-10T08:04:11Z) - GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。
GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。
本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文 参考訳（メタデータ） (2024-06-01T08:01:05Z) - Optimizing cnn-Bigru performance: Mish activation and comparative analysis with Relu [0.0]
アクティベーション関数(AF)はニューラルネットワークの基本コンポーネントであり、データ内の複雑なパターンや関係をキャプチャすることができる。
本研究は, 侵入検知システムの性能向上におけるAFの有効性を照らすものである。
論文 参考訳（メタデータ） (2024-05-30T21:48:56Z) - Latent Alignment with Deep Set EEG Decoders [44.128689862889715]
本稿では,脳波伝達学習大会のベンチマークで優勝した潜在アライメント手法を紹介する。
我々は,その定式化を,与えられた被験者の試行セットに適用したディープセットとして提示する。
実験の結果,深層学習モデルにおける後段の統計的分布アライメントの実行は,分類精度に有益であることが示唆された。
論文 参考訳（メタデータ） (2023-11-29T12:40:45Z) - Physics Inspired Hybrid Attention for SAR Target Recognition [61.01086031364307]
本稿では,物理にヒントを得たハイブリットアテンション(PIHA)機構と,この問題に対処するためのOFA評価プロトコルを提案する。
PIHAは、物理的情報の高レベルなセマンティクスを活用して、ターゲットの局所的なセマンティクスを認識した特徴群を活性化し、誘導する。
提案手法は,ASCパラメータが同じ12のテストシナリオにおいて,他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2023-09-27T14:39:41Z) - Regularization Through Simultaneous Learning: A Case Study on Plant
Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。
我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。
興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-22T19:44:57Z) - Class-Specific Semantic Reconstruction for Open Set Recognition [101.24781422480406]
オープンセット認識により、ディープニューラルネットワーク(DNN)は未知のクラスのサンプルを識別できる。
本稿では,自動エンコーダ(AE)とプロトタイプ学習を統合したCSSR(Class-Specific Semantic Reconstruction)を提案する。
複数のデータセットで実験を行った結果,提案手法は閉集合認識と開集合認識の両方において優れた性能を発揮することがわかった。
論文 参考訳（メタデータ） (2022-07-05T16:25:34Z) - Domain Adaptive Nuclei Instance Segmentation and Classification via
Category-aware Feature Alignment and Pseudo-labelling [65.40672505658213]
本稿では, UDA 核インスタンス分割と分類のための新しいディープニューラルネットワークである Category-Aware 機能アライメントと Pseudo-Labelling Network (CAPL-Net) を提案する。
我々のアプローチは、最先端のUDA手法よりも顕著なマージンで優れています。
論文 参考訳（メタデータ） (2022-07-04T07:05:06Z) - Deep Neural Decision Forest for Acoustic Scene Classification [45.886356124352226]
音響シーン分類(ASC)は、録音環境の特性に基づいて音声クリップを分類することを目的としている。
深層神経決定林(DNDF)を用いたASCの新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-03-07T14:39:42Z) - Confounder Identification-free Causal Visual Feature Learning [84.28462256571822]
本稿では,創始者を特定する必要性を排除した,創始者同定自由因果視覚特徴学習(CICF)手法を提案する。
CICFは、フロントドア基準に基づいて異なるサンプル間の介入をモデル化し、インスタンスレベルの介入に対するグローバルスコープ干渉効果を近似する。
我々は,CICFと一般的なメタラーニング戦略MAMLの関係を明らかにするとともに,MAMLが理論的観点から機能する理由を解釈する。
論文 参考訳（メタデータ） (2021-11-26T10:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。